拿下SOTA!最强中文Embedding模型对标OpenAI,技术路线公开 siyushenqi.com • 2025 年 8 月 13 日 下午11:25 • 行业动态 • 阅读 547 国产大模型「日日新 5.0」已经在权威主流评测中鲨疯了。变强的背后原因竟是,来自商汤自研中文Embedding模型——Piccolo2。这是首个对标OpenAI向量长度的模型。 国产大模型最近在权威主流评测中「杀」疯了! 商汤「日日新 5.0」在中文大模型测评基准SuperCLUE中,成为首个超越GPT-4 Turbo的国产大模型;在OpenCompass的基准表现中,客观评测超过GPT-4 Turbo,主观评测已超过GPT-4o位列第一。 这次「又双叒叕变强」背后是算法、算力、数据的全面「buff」叠加,其中最重要的技术之一、也是解决LLM幻觉问题的关键——商汤自研的通用Embedding模型Piccolo2。 Piccolo2日前已突破SOTA,在由北京智源研究院发布的中文语义向量评测基准C-MTEB评测中名列第一,这是当前最大规模、最为全面的中文语义向量表征能力评测基准,包含分类、聚类、句对分类、重排、检索和句子相似度六大类评测任务和31个数据集。 如今,商汤公开了技术路线。 Piccolo2目前支持512/2K/8K三种向量长度,其中8K模型是目前中文Embedding中能够实现对标OpenAI向量长度的模型。 论文地址:https://arxiv.org/abs/2405.06932 Hugging Face地址:https://huggingface.co/sensenova/piccolo-large-zh-v2 要读的论文又增加了! 模型幻觉「退退退」,长文本「准准准」!商汤全新嵌入模型性能大幅提升 正式读论文之前先聊聊Embedding对于大语言模型的重要性: 检索的准确度、可解释性、易操作的知识外挂……这些都是源于与LLM基于知识库的问答场景息息相关的Embedding模型性能。 嵌入(Embedding)就是将内容(如文字或代码)中的概念转化为一串数字序列。通过这种方式,机器学习模型和其他算法可以轻松理解不同内容之间的关系,执行聚类、检索等操作。 无论是应对幻觉和可解释性,还是应对长文,Piccolo2加持的商汤日日新5.0都完美地完成了从长文中处理和获取信息的任务。 在整个检索增强生成(RAG)pipeline中,Embedding的性能决定了检索的准确性,也间接决定了LLM输出的可信度,而RAG在私有化部署方面的优势也为其开辟了更多可能性。 RAG的一大优点就在于知识库可以通过文档的形式进行外挂,这使得知识能够更频繁地更新,而无需耗时耗力再通过二次预训练向LLM灌入这些知识,并且RAG的检索步骤能够提供上下文给模型作为参考依据,让大模型回答更加准确。 这些也催生了另一个优势——私有化,RAG可以帮助小企业轻松完成大模型的私有化部署,而无需暴露私有数据。 核心技术详解:对标OpenAI向量长度,精度位列MTEB中文榜单榜首 在这个LLM落地应用中必不可少的一环里,商汤已经将这项技术实现了SOTA,相比之前同量级的SOTA模型acge-embedding,Piccolo2模型综合评分提升了约1.9个点。 到了读论文环节,这背后用了什么方法?依然是算法、数据的双重发力。 与上一代(Piccolo)相比, Piccolo2 主要利用高效的多任务混合损失训练方法,有效地利用来自不同下游任务的文本数据和标签。 同时,Piccolo2 扩大了嵌入维度,并使用 MRL 训练来支持更灵活的向量维度。除了训练方法之外,Piccolo2 还利用了一个数据合成框架和难负挖掘方法,以不断扩充数据集的数量和质量。 多任务混合损失训练:适用不同下游任务 以往的Embedding模型训练过程主要依赖于的标准InfoNCE损失和批内负样本(in-batch negative),通常通过利用大量负样本来实现较好的性能。然而,标准 InfoNCE 并不适用当前Embedding模型所有的下游任务。 例如,句子相似度(STS)和句对分类任务(pair classification)这种具有细粒度标注的任务通常更适合用排序损失。 此外,分类任务和聚类任务在之前的工作中也没有被用于通用嵌入模型的训练。因此在Piccolo2中,商汤采用了多任务混合损失训练方法,针对不同的下游任务利用不同的训练损失,并证明了其优越的性能。 对于检索任务,Piccolo2采用标准的InfoNCE损失: 对于句对分类、句对相似度任务,Piccolo2采用排序损失: 对于分类、聚类任务,Piccolo2首先通过将文本的label视为正/负样本,把分类、聚类数据转换为三元组,然后采用不带批内负样本的InfoNCE损失进行训练: 大维度和MRL训练 在今年1月OpenAI发布的两个新的文本嵌入模型text-embedding-3-small和 text-embedding-3-large ,当时引发了广发关注。 受到 OpenAI 的 text-embedding-v3的启发,商汤在研发Piccolo2时,也扩大了Embedding的维度尺寸,从1024 增加到1792。 除此之外,还引入了「套娃学习」(Matryoshka Representation Learning, MRL)来支持更灵活的Embedding推理维度,「套娃学习」通过以嵌套方式对 O (log (d)) 低维向量进行显式优化在同一个高维向量中学习不同容量的表征。 高质量数据加持精度 Piccolo2的微调数据主要来自于开源社区和GPT-4生成的合成数据。同时,对于检索任务,Piccolo2也应用了难负样本挖掘来扩充数据质量。数据配比如下图所示: 实验介绍: 通过多任务混合损失训练的方式,Piccolo2在C-MTEB上达到了70.95的平均精度,相比之前同量级的SOTA模型acge-embedding,综合评分提升了约1.9个点。 同时,得益于MRL技术的加持,Piccolo2在Embedding小维度上也有相当强的优势——从1792维度降到256维度,精度也仅仅下降了约1个点。 如此,MRL算法让Embedding模型具备多粒度的表达能力,也为开发者们提供更加灵活的选择。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33829.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI总结性产品是不是鸡肋? 上一篇 2025 年 8 月 13 日 下午11:25 第一批用 AI 的大促电商人,已经提前下班了 下一篇 2025 年 8 月 13 日 下午11:25 相关推荐 行业动态 如何通过RCS群发提升用户参与度和转化率 RCS(富通信服务)作为SMS的升级版,提供了更加丰富的消息体验。与传统短信的单向沟通不同,RCS支持多媒体内容传输和互动功能,有效提升品牌与用户之间的互动性。通过RCS群发,品牌能够直接在消息中嵌入互动元素,增强用户参与感,从而提升... siyushenqi.com 2026 年 1 月 25 日 321000 行业动态 SHEIN的尽头是亚马逊 应用高人气,社交独一位。粮草已先行,只待兵马动。 siyushenqi.com 2025 年 8 月 13 日 457000 行业动态 灵犀互娱《三国志·战略版》总收入突破10亿美元 Sensor Tower商店情报数据显示,灵犀互娱《三国志·战略版》在全球App Store和Google Play的预估总收入突破10亿美元大关。 siyushenqi.com 2025 年 8 月 25 日 1.0K000 行业动态 海外手游开发商分享:我们怎样利用AI,使开发速度提升4倍? Game Gears是塞浦路斯游戏和娱乐控股公司GDEV旗下的工作室,AI技术已经成为其核心竞争力。在开发手游《异形大战僵尸:入侵》时,工作室广泛使用了AI技术,涵盖内容创作、编程、游戏设计、市场营销和行政流程等多个领域。此外,工作室取消了传统编剧岗位,改用AI辅助游戏设计师编写游戏内文本。 siyushenqi.com 2025 年 8 月 17 日 463000 MOBA手游市场稳居第二,网易这款产品被太多人低估 三年半过去,平安京已经找到了自己的路。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 509000 行业动态 外贸人有效跟进客户的必备话术 让很多外贸业务员烦扰的问题,除了开发新客户,就是发出去的邮件客户没回应。客户从询价到真正下单的时长不一,一时不回复,在外贸中是很常见的现象。那么应对客户的不回应,该怎么办呢? 第一回合 Trust you have received our samples. Please let us have your feedback so we can proceed… siyushenqi.com 2025 年 8 月 13 日 下午11:25 547000 行业动态 董宇辉逼近小杨哥,但东方甄选跟得上吗? 净利润下滑过半,东方甄选要努力了。 siyushenqi.com 2025 年 8 月 12 日 408000 美国解谜手游用户支出同比增长4.2%至50亿美元 Sensor Tower 商店情报数据显示,过去一年美国玩家在解谜手游上的支出增长了4.2%,达到50亿美元。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 470000 行业动态 OpenClaw技术架构与运行机制深度解析 OpenClaw是一种高度模块化的技术平台,具备强大数据处理能力和灵活任务调度机制,支持系统集成与容错。其设计可应对大规模并发任务和实时数据流处理,适用于金融、电商等多领域场景,兼顾性能优化与可扩展性。 siyushenqi.com 2026 年 3 月 9 日 370000 行业动态 SHEIN海外用户画像首次曝光,低价不是唯一吸引 低廉的价格并不是 SHEIN 成功的唯一原因,产品种类、营销和供应链可能有助于其不断增长的市场份额。 siyushenqi.com 2025 年 8 月 13 日 589000 亚马逊在拉美为什么敌不过美客多? 本篇文章将以股市表现为切入点,分析拉美两大电商巨头今后的走势,以及增量前景。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 456000 暴雪的最后一搏,暗黑4能否吹响反击号角 有新东西,不多,但够味 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 428000 创业自述|做了两年海外社交App 交过了学费总结了这5大坑 一家踏足出海社交领域不足两年的创业团队,是如何一路披荆斩棘的 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 428000 「世界的莉莉丝」又一大动作 废土题材的吃鸡游戏能打吗? 未来科技+吃鸡 莉莉丝的又一力作 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 466000 三人团队,月入超20万,他们做对了哪些事? 疫情带来了游戏行业的两极分化,一面是王者荣耀日活过亿,带动腾讯股价冲破700,一面是数万家游戏企业注销。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 535000 行业动态 孟加拉本土网盟媒体独家赋能slots游戏马甲包出海拓量优势 1. 孟加拉游戏市场概况 1.1 市场规模与增长趋势 孟加拉国的游戏市场规模近年来呈现出显著的增长趋势。根据最新的市场研究报告,2024年孟加拉国的游戏市场规模达到了5000万美元,同比增长超过30%。这一增长主要得益于移动互联网的普及、智能手机的广泛使用以及年轻用户群体对游戏的强烈兴趣。 移动游戏主导:移动游戏在孟加拉国的游戏市场中占据了主导地位,占比超过… siyushenqi.com 2025 年 8 月 13 日 下午11:25 547000 行业动态 亚马逊AI购物助手Rufus再进化,能成为卖家新的流量入口吗? Rufus可跨会话调用用户历史订单、浏览、评价等全链路数据,形成个人消费画像,实现跨品类关联推荐与节日场景清单。 siyushenqi.com 2025 年 9 月 5 日 524000 data.ai 5 月中国游戏厂商及应用出海收入 30 强:《Arknights》收入增幅最大,环比增长 164% 2023年5月中国游戏厂商及应用出海收入30强榜单出炉 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 339000 行业动态 上线三年、首月营收5亿,腾讯将《幻塔》海外运营交回完美世界 《幻塔》国际服的运营商将从腾讯变更为完美世界,变更将于2025年2月23日生效。 siyushenqi.com 2025 年 8 月 17 日 512000 游族发布2022年半年报:海外收入占比超60%,多款自研新品即将上线 近日,游族网络披露2022半年度财报。报告期内,公司实现营业收入10.24亿元,归母净利润为7,094.13万元。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 449000 行业动态 巴西或判“开宝箱”违法,大批游戏公司被调查:每日罚70万美元 从2018年5月份开始,深受游戏厂商、尤其是手游发行商青睐的“开宝箱”玩法陆续遭到了全球各国监管方的普遍关注。 siyushenqi.com 2025 年 8 月 25 日 354000 行业动态 一家明星CP倒在春节前:曾获腾讯投资,月流水破亿 今年春节未免有点冷了。 siyushenqi.com 2025 年 8 月 18 日 429000 行业动态 第一波人形机器人倒闭潮,来了 2025年人形机器人行业融资超570亿却遭遇冰火两重天,K-Scale Labs、iRobot等海外明星企业相继倒下,中国供应链优势凸显,2026年行业出清加速到来。 siyushenqi.com 2026 年 3 月 5 日 262000 行业动态 面向SEO工作流的OpenClaw自动化应用探讨 OpenClaw是一款开源AI自动化代理,旨在简化SEO工作流,自动化关键词研究、内容生成与发布以及竞品分析。通过集成AI技术,OpenClaw帮助提升SEO团队的工作效率,减少人工干预,确保内容创作和优化的高效性和一致性。 siyushenqi.com 2026 年 3 月 10 日 271000 行业动态 下载量超4亿次!TikTok姐妹应用CapCut火爆美国 CapCut全球下载量去年猛增43%,超过4亿次,其中约7%来自美国。 siyushenqi.com 2025 年 8 月 24 日 533000 行业动态 革命性KAN 2.0横空出世,剑指AI科学大一统!MIT原班人马再出神作 如果说Mamba想端掉的是被AI社区广泛使用的Transformer架构,KAN的挑战对象则更加底层——作为多层感知器MLP的替代方案。 siyushenqi.com 2025 年 8 月 13 日 464000 行业动态 路透社:字节跳动计划出售沐瞳科技,正在接洽潜在买家 字节跳动正在考虑出售沐瞳科技,并且已经与“潜在的买家”展开了接洽。 siyushenqi.com 2025 年 8 月 18 日 474000 行业动态 闲鱼是电商和社区的未来解 「我希望闲鱼的首页就是你的首页,跟你是直接相关的」,这是闲鱼总裁季山在十周年一场行业交流会上对闲鱼千人千面新首页的定义。 siyushenqi.com 2025 年 8 月 6 日 574000 富二代转向独立站创业,5万月薪招主播 大码服装确实是一条具有潜力的赛道,这两年国内已经有不少品牌走出国门抢占其红利。Molly了解到,国内的大码女装品牌BloomChic在近几月的独立站流量出现大幅增长,站内流量已经超百万。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 488000 行业动态 大模型激战之后,AI创业者扎堆儿猛冲AI agent,PMF找到了? AI agent会引发一场新的人工智能之战吗? siyushenqi.com 2025 年 8 月 13 日 439000 发表回复 请登录后评论...登录后才能评论 提交