阿里开源新版Qwen3模型,霸榜文本表征 siyushenqi.com • 2025 年 8 月 13 日 下午10:16 • 行业动态 • 阅读 458 阿里巴巴开源了两款Qwen3系列新模型:Qwen3-Embedding 和 Qwen3-Reranker。这两款模型专为文本表征、检索与排序任务设计,基于Qwen3基础模型训练,支持119种语言,继承了Qwen3在多语言文本理解方面的优势。 摘要 在多语言文本表征基准测试中,Qwen3-Embedding 的8B参数模型以70.58的高分排名第一,超越了谷歌的Gemini-Embedding等众多商业API服务。在排序任务中,Qwen3-Reranker 的8B模型在多语言检索任务中得分69.02,在中文检索任务中得分77.45,在英文检索任务中得分69.76,显著优于其他基线模型。 采用因果注意力机制的大模型,在输入序列末尾添加[EOS]标记,从最后一层隐藏状态中提取文本语义表征,增强了对文本语义的理解能力。 利用Qwen3基础模型的文本生成能力,合成大规模的弱监督训练数据,涵盖多种任务类型、语言和领域,突破了传统方法的局限性。 研究人员采用了精心设计的提示策略生成合成数据。在文本检索任务中,通过多语言预训练语料库生成数据,为每个文档分配特定角色以模拟用户查询,并在提示中包含多种维度(如查询类型、事实性、总结性、查询长度等),确保了合成数据的高质量和多样性,有效提升了模型性能。 今天凌晨,阿里巴巴开源了两款Qwen3系列新模型,Qwen3-Embedding和Qwen3-Reranker。 这两个模型是专为文本表征、检索与排序任务设计,基于 Qwen3基础模型训练,充分继承了Qwen 3在多语言文本理解方面的优势,支持119种语言。 根据测试数据显示,在多语言文本表征基准测试中,Qwen3 Embedding的性能非常出色。其中,8B参数以70.58的高分排名第一,超越了众多商业API服务,例如,谷歌的Gemini-Embedding。 在排序任务中,Qwen3 Reranker 系列模型同样展现了强大的能力。在基本相关性检索任务中,8B模型在多语言检索任务中取得了69.02的高分,在中文检索任务中得分达到 77.45,在英文检索任务中得分达到 69.76,显著优于其他基线模型。 开源地址:https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea 文本表征和排序是自然语言处理与信息检索中的核心任务,主要用于网络搜索、问答系统、推荐系统等多个领域。高质量的文本表征能够使模型精准捕捉文本间的语义关系,而有效的排序机制则确保最相关的结果能够优先呈现给用户。 但如何在大规模数据上训练出既具备泛化能力又能精准检索、排序的模型很困难,而新版Qwen3大幅度领先其他模型。 在模型架构方面,这两款模型采用了基于Qwen3基础模型的密集版本,并提供了三种不同参数规模的模型配置,分别是0.6B、4B和8B参数,以满足不同场景下的性能与效率需求。 对于文本嵌入模型,研究人员采用了因果注意力机制的大模型,并在输入序列的末尾添加了[EOS]标记,从而从最后一层的隐藏状态中提取文本的语义表征。这种设计不仅增强了模型对文本语义的理解能力,还使得模型能够根据不同的任务需求进行灵活调整。 此外,为了使模型能够更好地遵循指令,在下游任务中表现出色,研究人员将指令与查询文本拼接为单一输入上下文,而文档保持不变。这种设计使得模型能够更好地理解和处理复杂的语义任务,提升了模型在多语言和跨语言任务中的表现。 对于排序模型,采用了单塔结构,将文本对(如用户查询与候选文档)作为输入,并通过大模型的对话模板将相似性评估任务转化为二分类问题。模型能根据输入的指令、查询和文档,判断文档是否符合查询要求,并输出相关性得分。这种设计使得模型能够更加精准地评估文本对之间的相关性,从而在排序任务中取得更好的效果。 在训练范式方面,该系列模型采用了创新的多阶段训练方法,包括大规模无监督预训练、高质量数据的监督微调以及模型融合策略。 在无监督预训练阶段,研究人员利用Qwen3基础模型的文本生成能力,合成大规模的弱监督训练数据。这些数据涵盖了多种任务类型、语言和领域,为模型提供了广泛的学习素材。 这种合成数据的方法不仅提高了数据的可控性,还能够在低资源语言和领域中生成高质量的数据,突破了传统方法依赖社区论坛或开源数据筛选获取弱监督文本对的局限性,实现了大规模弱监督数据的高效生成。 在监督微调阶段,研究人员选择了高质量的小规模标注数据进行训练,进一步提升模型的性能。这一阶段的训练数据不仅包括开源的标注数据集,例如,MS MARCO、NQ、HotpotQA等,还筛选了部分合成数据。通过简单的余弦相似度计算,从合成数据中筛选出高质量的数据对,进一步提升模型的性能。这种策略不仅提高了模型的泛化能力,还在多种基准测试中取得了优异的成绩。 最后,在模型融合阶段,研究人员采用了基于球面线性插值的模型融合技术。通过合并微调过程中保存的多个模型检查点,模型能够在不同数据分布上表现出更好的性能。这一策略显著提升了模型的稳定性和一致性,增强了模型的鲁棒性和泛化能力。 除了上述技术创新点,这两个模型在训练数据合成方面也进行了精心设计。为了生成高质量的合成数据,研究人员采用了精心设计的提示策略。在文本检索任务中,模型通过多语言预训练语料库生成数据,并为每个文档分配特定的角色,以模拟潜在用户对该文档的查询。 此外,提示中还包含了多种维度,如查询类型关键词、事实性、总结性、判断性、查询长度、难度和语言等,确保了合成数据的高质量和多样性。通过这种方式生成的合成数据,不仅在数量上满足了大规模预训练的需求,在质量上也能够有效地提升模型的性能。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33183.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 资本连续押注,家用机器人要火了! 上一篇 2025 年 8 月 13 日 下午10:16 AI受困于人类数据 下一篇 2025 年 8 月 13 日 下午10:16 相关推荐 行业动态 2026年OpenClaw是什么它如何工作及核心特性解析 OpenClaw是一款开源自主AI代理,强调本地运行与隐私保护。相比传统的云计算框架,它能有效提高用户数据隐私,同时支持多平台与消息渠道。自2025年发布以来,OpenClaw迅速发展,成为引领自主AI领域的新力量,其技术发展得到Op... siyushenqi.com 2026 年 3 月 10 日 329000 狙击Tik Tok,快手想用网赚的方式弯道超车 如果有一款APP,注册即可得1美元(约7RMB),每邀请5位朋友再得110美元(约770RMB),观看视频内容还有其他时长奖励金,你会下载并介绍给朋友和家人吗? siyushenqi.com 2025 年 8 月 26 日 • 行业动态 472000 行业动态 短剧,开始跑长线了 短剧进入“IP长跑”阶段。 siyushenqi.com 2025 年 12 月 8 日 418000 行业动态 跨平台社媒矩阵内容运营规范与品牌一致性维护 品牌一致性 内容适配 用户互动 运营效果评估 数据驱动优化 品牌一致性 在跨平台社媒矩阵内容运营中,品牌一致性至关重要。品牌一致性不仅确保了品牌形象的统一,还加强了品牌的市场认知度。无论在什么平台上发布内容,都应确保品牌标识、风格、语调和视觉效果的一致,以便用户能够快速识别并建立信任。 首先,品牌一致性需要在视觉元素上保持统一,如Logo、色彩方案、字体等。… siyushenqi.com 2025 年 8 月 13 日 下午10:16 458000 行业动态 这款150人做的休闲游戏,上线不到半年,拿下13亿流水 8月全球手游收入第三。 siyushenqi.com 2025 年 8 月 19 日 439000 厦门这家游戏“扛把子” 让海外玩家也迷上了修仙 成仙或是成魔,《一念逍遥》成功迈入国际市场。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 492000 行业动态 OpenAI、字节、阿里出海布局新战场 OpenAI、Meta、字节、阿里、百度等AI巨头2026年集体出海押注AI硬件,选择成熟形态(眼镜/手机/办公设备)争夺下一代入口,短期难颠覆智能手机生态。 siyushenqi.com 2026 年 3 月 5 日 279000 行业动态 “每日优鲜们”被抛弃,在线零售才是资本新宠儿? Gopuff 完成10亿美元融资,估值达150亿美元,在线零售能够摆脱“生鲜魔咒”吗? siyushenqi.com 2025 年 8 月 13 日 440000 行业动态 亚马逊链接生成本土化数字人短视频助力企业出海新高潮 只要亚马逊listing链接地址,即可生成本土化数字人的专属短视频 提高本地化运营品质,大大促进销售额新高度 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨… siyushenqi.com 2025 年 8 月 13 日 下午10:16 458000 行业动态 海外收入4亿美金,拿到版号后,这款国民手游如何冲击国内市场 一款风格新奇的游戏。 siyushenqi.com 2025 年 8 月 18 日 475000 背负巨大营销开支 出海东南亚亮眼成绩能否挽救完美日记困局? 一直以来争议巨大的完美日记能否靠已经打开局面的新市场获得现有困局转机? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 423000 “寒冬”之下融资1亿美金,TruKKer是一家什么样的公司? 9月7日,总部位于沙特阿拉伯的 TruKKer 宣布,已经筹集了1亿美元C轮融资,新融资主要用户现有市场和新市场的开拓。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 442000 行业动态 外贸提单的超全解析来了!别再说看不懂外贸提单了!外贸新人必看 我们在做外贸进出口的时候需要做一整套的文件单证,包括装箱单、发票、合同、产地证、提单等等,其中最重要的文件就是提单。 提单是什么 提单是出口最重要的凭证,它代表着货权。 比如说我的货物要从中国运输到客户的国外港口,那么我们把提单交给客户,货权就从我们的转移到了客户手上。客户凭着提单,到他的港口就可以提货。 提单的分类 提单分两种。 1. 正本提单 Bill … siyushenqi.com 2025 年 8 月 13 日 下午10:16 458000 行业动态 AI冲击Google搜索广告,怎么就成了伪命题? AI并未杀死搜索,反而激活了增量需求。 siyushenqi.com 2025 年 12 月 16 日 379000 行业动态 Lazada、Shopee平台数据显示:直播购物成为趋势 越南消费者越来越倾向于通过直播购买商品。 siyushenqi.com 2025 年 8 月 13 日 450000 中东美容保健市场有搞头?美国纯天然茶饮出海瓜分市场 疫情改变了人们的生活观念以及生活方式,不仅仅是中国人越来越认识到健康的重要性,中东地区的人民也一样。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 421000 行业动态 上线5个月下载破328万,专为女性居家健身打造,这款App如何突围北美? 掀起北美女性家庭健身热潮。 siyushenqi.com 2025 年 8 月 15 日 392000 行业动态 OpenAI请了7个艺术家,给我们秀了一下Sora能达到什么水平 以下是部分艺术家精心创作的作品,以及他们对于Sora如何融入他们的工作流程和业务模式的初步见解。 siyushenqi.com 2025 年 8 月 13 日 401000 发现新财富密码?一刀999在中东同样受欢迎 | 中东出海秀 在本期榜单上,《PUBG Mobile》依然是沙特和土耳其市场上收入最高的游戏。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 501000 新一批游戏版号公布 73款游戏过审 网易终于等到“船票” 9月13日,国家新闻出版署发布9月国产网络游戏审批信息,共73款游戏获批。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 482000 行业动态 腾讯Q1游戏总流水实现增长 海外市场重点发力 5月14日,腾讯公布2024年第一季度业绩。腾讯董事会主席兼首席执行官马化腾在财报中表示,今年一季度游戏总流水实现增长,为未来几个季度游戏收入恢复增长打下基础。 siyushenqi.com 2025 年 8 月 18 日 533000 行业动态 全渠道单月破亿!国内新锐将加大海外品牌布局 在国内,口腔护理市场上有这么一个品牌,不夸张地说,其凭借一己之力搅动行业风云 siyushenqi.com 2025 年 8 月 13 日 444000 行业动态 沙特商务部开始审查违规独立站 商务部收到了大量有关某家主营3C产品的独立站投诉,消费者声称该独立站在无法正产派送产品的情况下仍继续售卖其产品。 siyushenqi.com 2025 年 8 月 13 日 422000 羊驼进化成鲸鱼,Meta把对齐「自动化」,Humpback击败现有全部LLaMa模型 数据质量很重要 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 427000 行业动态 马斯克的xAI以1130亿美元估值,出售3亿美元股权 xAI以1130亿美元的估值,正在出售3亿美元股权。目前股票出售细节尚未完全披露,但公司正在与潜在投资者就私募配售进行磋商。 siyushenqi.com 2025 年 8 月 13 日 412000 行业动态 股价飙升、漫剧爆火、巴西站稳、可灵AI带飞,快手Q3交卷 用AI,快手在海外“养”巴西老铁。 siyushenqi.com 2025 年 11 月 21 日 364000 行业动态 印度封禁事件启示录:单一市场的隐患 类似印度的大规模封禁不会上演!原因有二,海外内需和中国竞争力。 siyushenqi.com 2025 年 8 月 13 日 418000 疯狂爆单的芭比效应,开始反噬了? 狂蹭芭比热度爆单后,大批卖家产品遭下架! siyushenqi.com 2025 年 8 月 13 日 • 行业动态 398000 行业动态 诗悦雷霆易玩也想搞短剧,买量还真不是唯一解 游戏和短剧看对眼了 siyushenqi.com 2025 年 8 月 18 日 502000 行业动态 谷歌新闻将允许用户访问特定合作伙伴的部分付费内容 谷歌于去年 10 月推出了这项功能,以在版面上呈现来自出版商合作伙伴的部分策划内容 siyushenqi.com 2025 年 8 月 26 日 432000 发表回复 请登录后评论...登录后才能评论 提交