OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源 siyushenqi.com • 2025 年 8 月 13 日 下午11:38 • 行业动态 • 阅读 475 小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。 小模型的战场,打起来了! 继GPT-4o mini、Mistral NeMo发布之后,苹果也入局了。 DCLM小模型包含两种参数规模——70亿和14亿,发布即开源。最大70亿参数超越了Mistral-7B ,性能接近Llama 3、Gemma。 根据苹果ML小组研究科学家Vaishaal Shankar(也是DCLM研发人员)的说法,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。 相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。 对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮面」,只开源代码或权重的做法,大方的苹果获得了网友的好评。 此外,Shankar还预告说,之后会继续上线模型中间检查点和优化器状态。 难道,这就是LLM开源社区的春天了吗? DCLM系列全开源 目前,HuggingFace上已经发布了全部模型权重,其中的模型卡已经基本涵盖了关键信息。 https://huggingface.co/apple/DCLM-7B DCLM-7B同样采用了decoder-only的架构,使用PyTorch和OpenLM框架进行预训练。 总共4T token的DCLM-baseline数据集来自于总量240T的DCLM,DCLM-7B模型又进一步过滤出其中的2.5T用于训练。 上下文长度为2048,小于Mistral 7B和Gemma 2 9B的8k长度。 性能方面,作者直接使用评估套件LLM Foundry,测试了模型在53个基准任务上的分数。 与其他模型进行比较时,除了MMLU分数,作者还自定义了两个指标——「核心准确率」(core)和「扩展准确率」(extended)。 前者是包括HellaSwag和ARC-E在内的22个任务中心准确率的均值,后者则涵盖全部53个任务。 与虽然使用的数据不是最多,但与其他同等大小的开放数据模型(权重与数据集都开源)相比,DCLM在全部3个指标上的性能都达到了最佳。 三列基准分数从左到右分别是:核心、MMLU、扩展 相比之前的SOTA MAP-Neo模型,DCLM-7B在5-shot的MMLU任务准确率达到63.7%,提升了6.6个百分点,同时训练所需的计算量减少了40%。 然而,如果和权重开源、数据集闭源的模型相比,效果就不尽如人意了。 DCLM在各个指标上都与Phi-3存在不小差距,与Mistral-7B-v0.3或Gemma 8B的分数大致相当。 研究人员发现,如果使用同一数据集中额外的100B数据进行训练,并将上下文长度扩展到8k时,模型在核心和扩展基准上的分数还会进一步提升,但MMLU结果没有变化。 这个结果,就全面超过了Mistral 7B-v0.3的分数。 此外,HuggingFace上还发布了7B模型的指令微调版本,在数学推理任务GSM8K上的性能实现大规模提升,分数由原来的2.1直接飙到52.5。 https://huggingface.co/apple/DCLM-7B-8k 除了7B版本,1.4B版本也同步上线。神奇的是,训练数据量相比7B版本不降反增,多了0.1T。 https://huggingface.co/TRI-ML/DCLM-1B 相比HuggingFace最近发布的SmolLM,DCLM-1B的性能显著更优,尤其是5-shot MMLU分数,比SmolLM提升了11.9%。 不仅如此,DCLM-1B在MMLU上41.9的得分也同样高于Qwen-1.5B的37.87和Phi-1.5B的35.90。 7B模型落后的事情,反而让1.4B模型反超了,果然小模型才是苹果的看家本领。 值得注意的是,7B模型仅能在Appl240万亿巨量数据被洗出,足够训出18个GPT-4!全球23所机构联手,清洗秘籍公开e的示例代码许可(ASCL)下使用,但1.4B版本在Apache 2.0下发布,允许商业使用、分发和修改。 既然说到这次发布的DCLM系列模型,就不得不提它们的重要基础——DataComp基准。 论文地址:https://arxiv.org/pdf/2406.11794 DataComp这篇论文首发于6月17日,共同一作Jeffrey Li、Alex Fang和共同最后作者Vaishaal Shankar,也同样都是苹果DCLM的研发人员。 文章不仅对数据集的构建过程进行了详细阐述,也提到了关于DCLM模型的部分内容。 Vaishaal Shankar表示,将很快发布这篇论文的更新版,提供更多有关模型预训练的技术细节。 相比于对同一数据集修改模型,DataComp的思路反其道而行之——测评所用的模型是固定的,任务是在总共240T的数据池中过滤、处理出最好的数据。 可以说,这种做法与科技巨头们的研发思路非常一致——对于LLM的性能而言,预训练数据正在成为比模型架构和权重更重要的因素。 毕竟,Llama、Gemma、Phi等一系列「开源」模型都是只放权重、不公布数据。 既要Scaling Law,又要SLM 对于AI科技巨头来说,有时模型不是越大越好。 其实一直以来,AI社区中,并不缺少小模型,比如微软Phi系列模型多次迭代,以及6月末谷歌刚刚更新的Gemma 2 7B。 这周,OpenAI突然发布GPT-4o mini,Mistral AI联手英伟达发布Mistral NeMo,HuggingFace的SmoLLM等小模型的发布,为小模型的领域再次添了一把火。 正如OpenAI研究员所言,「虽然我们比任何人都更喜欢训练大模型,但OpenAI也知道如何训练小模型」。 小模型,优势在于成本低、速度快、更专业,通常只使用少量数据训练,为特定任务而设计。 大模型变小,再扩大规模,可能是未来发展的趋势之一。 前两天,在GPT-4o mini发布时,Andrej Karpathy也发表长推表达了类似的观点。 他认为,模型尺寸的竞争将会「反向加剧」,不是越来越大,反而是比谁更小更轻巧。 当前的LLM之所以逐渐变成「巨兽」,是因为训练过程仍然非常浪费,我们基本上是在要求模型记住整个互联网的内容(而且实际上,LLM的记忆能力还相当不错,质量上比人类好很多)。 但对于小模型来说,训练目标已经改变。关键问题是,AI系统如何从更少的数据中学到更多。 我们需要模型先变得更大,再变得更小,因为我们需要「巨兽」将数据重构、塑造为理想的合成形式,逐渐得到「完美的训练集」,再喂给小模型。 马斯克也表示同意这个观点。Karpathy所描述的这个模型改进阶梯,正是现实中特斯拉曾走过的路。 23年4月,Sam Altman曾宣布了AI大模型时代终结。最近采访中,他还确认了数据质量是进一步AI训练的关键成功因素。 微软研究人员在开发Phi模型时,就提出了这样的假设。Hugging Face的AI研究人员最近也证实了这一假设,并发布了一个高质量的训练数据集。 就以GPT-4为例,开发和使用超一万亿参数的成本超过了1亿美元。 而小模型,比如专在法律数据集上完成训练,可能使用不到100亿参数,成本不到1000万美元,使用更少算力响应每个查询,因此成本较低。 纳德拉曾表示,Phi⼩型模型系列规模仅为OpenAI背后免费模型1/100,而且在许多任务上的表现几乎同样出色。 除此以外,谷歌以及AI初创公司Mistral、Anthropic、Cohere今年也发布了规模较小的模型。 6月,苹果曾公布了自己的AI发展路线图,计划使用小型模型,这样就可以完全在手机上运行软件,使其更快速和更安全。 对于许多任务来说,比如总苹果为什么要用「小模型」?结文档或生成图像,大模型可能有点大材小用。 Transformer开山之作背后作者Illia Polosukhin表示,计算2+2不应该需要进⾏千万亿次运算。 不过,科技巨头们也并没有放弃大模型。苹果在今年WWDC大会上,曾宣布了在Siri助手中植入ChatGPT,以执行撰写电子邮件等复杂任务。 毕竟通往终极AGI/ASI,参数规模的扩大和智能的增长成正比。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33971.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI生变:卖身、吞并、洗牌 上一篇 2025 年 8 月 13 日 下午11:38 5 年 160 亿估值,硅谷「企业 AI」领头羊怎么做到的? 下一篇 2025 年 8 月 13 日 下午11:38 相关推荐 行业动态 孙东旭“接班”董宇辉 俞敏洪曾考虑董宇辉作为新东方接班人,但由于董宇辉离开东方甄选,这一可能性不再存在。 siyushenqi.com 2025 年 8 月 5 日 447000 黄一孟移居背后:患上依赖症后,TapTap国际版是游戏出海捷径?还是囧途? 近期心动公司可谓是动作频繁,在上个月的游戏发布会上,携19家厂商一口气公布了26款产品。而在上周末,心动又举办了为期两天的TapTap 开发者沙龙。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 476000 Q3净利润同比增长164%,单季度营收首次破百亿,世纪华通稳坐A股第一 连续八个季度营收上扬,世纪华通交出精彩出海成绩单。 siyushenqi.com 2025 年 10 月 31 日 • 行业动态 455000 行业动态 出海产品利用Facebook矩阵营销的十大好处 出海产品利用Facebook矩阵(包括Facebook、Instagram、WhatsApp、Messenger等)进行营销,能够通过多元化的平台联动和精准的用户触达,显著提升品牌影响力和转化率。以下是十大核心好处: 1. 覆盖全球海量用户Facebook全家桶(含Instagram等)月活用户超 35亿,覆盖全球各年龄段、地区及兴趣群体,尤其适合快速触达新… siyushenqi.com 2025 年 8 月 13 日 下午11:38 475000 行业动态 游戏出海投放新动向,俄罗斯市场成大热门?广告变现痛点有新解? 今年一季度,中国自主研发游戏在海外市场实际销售收入达到了40.75亿美元,环比和同比均实现了超过5%的增长,出海,仍是游戏产品近些年来最主要的发展模式之一。 siyushenqi.com 2025 年 8 月 18 日 580000 欧美RPG手游年收入33亿美元:跨平台是未来趋势? RPG市场是一个高风险、高回报而且入场门槛很高的“三高”品类。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 552000 行业动态 编码泛互联网新未来!一图了解 WAVE2025 全议程 当全球用户行为、技术范式与商业模式同时发生改变,泛互联网行业正进入一个被重新定义的新周期。 siyushenqi.com 2025 年 11 月 14 日 542000 美术扛大旗!这款新游热度飙升,内测就登上热门第一 从新一轮测试中一探究竟。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 498000 行业动态 对话dLocal首席营收官:重构跨境电商生态,为新兴市场铺设支付快车道 直击痛点,看dLocal如何破解全球化支付难题。 siyushenqi.com 2025 年 8 月 5 日 497000 行业动态 盘点外贸新手开发客户的八大方法论 外贸是最近几年拉动经济发展的三架马车之一,尽管目前能源危机、通货膨胀等复杂性的环境下,我国外贸行业依旧稳步上升的发展趋势,中国生产力一直走在世界前列,而且各方政策对于咱们国家的外贸发展抛出橄榄枝,未来几年有望出现增长。作为外贸行业从业10年的人,小编在此分享一些自己从业的方法论:一、 展会渠道参加展会是最直接最传统的外贸获客渠道,前一段时间开展的广交会,相信… siyushenqi.com 2025 年 8 月 13 日 下午11:38 475000 行业动态 一文读懂GPT-5的绝招,这是决定AI未来的隐形武器 通用验证器是AI突破“对错二元”限制、迈向真正智能的关键。 siyushenqi.com 2025 年 9 月 17 日 403000 行业动态 越南:世界上成年人玩游戏比例最高的国家 电子游戏不再是儿童娱乐,现在,智能手机、电脑和游戏系统上的许多游戏都是针对成年人用户的。 siyushenqi.com 2025 年 8 月 26 日 477000 行业动态 今年CJ都在聊,行业的下一个机会出现了 自从HarmonyOS NEXT公布之后,就时不时会有游戏开发者聊起它。 siyushenqi.com 2025 年 8 月 18 日 444000 隐私新政带来的变化——2021年全球应用内广告变现eCPM概览(Q3更新) 进入2021年的下半年,Appodeal对其全球移动eCPM和App内广告变现报告进行了Q3版本(也就是呈现Q2数据)的更新。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 545000 行业动态 快手APP内测「AI对话」 快手自研大模型,已经开始落地了。 siyushenqi.com 2025 年 8 月 14 日 695000 行业动态 复刻“斗鱼+虎牙”,拿下1亿人口的小众市场,TALA如何破局? 把“斗鱼+虎牙”模式在菲律宾重新做一遍。 siyushenqi.com 2025 年 11 月 11 日 408000 TikTok vs Facebook,海外社交电商爆发前夕? 海外社交电商争夺战才刚刚打响,现在正是提早入局的时机。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 445000 行业动态 国庆不打烊丨“剧本杀”、“外星人”、互动小说、AI盲盒...一文盘点25年海外AI陪伴赛道产品亮点 复盘2025年前三季度,海外AI陪伴应用的发展趋势与代表产品。 siyushenqi.com 2025 年 10 月 7 日 606000 行业动态 半年流水800万的出海短剧平台,靠“赚辛苦钱”实现ROI转正 海外短剧市场仍有30倍待发掘空间。 siyushenqi.com 2025 年 8 月 18 日 461000 行业动态 一大批AI美女主播正在涌入抖音 欢迎进入AI世界。 siyushenqi.com 2025 年 8 月 12 日 606000 行业动态 Trendyol野心高涨,已将东欧市场划入扩张版图 在阿里的不停输血下,Trendyol扩张野心逐渐膨胀。 siyushenqi.com 2025 年 8 月 12 日 471000 强化安全底座,OPPO应用生态多维度助力全球开发者高效增长 2025 OPPO开发者大会(ODC25)于10月15日在深圳圆满落幕。 siyushenqi.com 2025 年 10 月 15 日 • 行业动态 417000 行业动态 今年中东白五销售有望增长30%!高达60亿美元! 根据 RedSeer Consulting 的调研数据,预计在这个“白色星期五”,中东北非地区的消费者将在网络购物上花费高达 60 亿美元,预计比去年增长 30%。 siyushenqi.com 2025 年 8 月 13 日 456000 行业动态 仅2万粉,带了2.6万件的货!TikTok Shop美区达人周榜(11.13-11.19) 榜单数据来自 EchoTik 电商数据分析平台,帮助卖家及时了解 TikTok Shop 美区达人带货现状、热门带货视频数据,掌握最新美区达人营销趋势。 siyushenqi.com 2025 年 8 月 12 日 453000 行业动态 私域神器每周合作精选No.106|海外发行寻产品;三七互娱寻海外游戏推广;需要尼日利亚一类支付 本期精选的合作类型涵盖海外发行寻产品,类型玩法平台不限;三七互娱寻海外游戏推广;需要尼日利亚一类支付等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 431000 叠纸投资的这个上海团队,第一款二次元就拿下TapTap9.7分 好饭不怕晚 《火环》不怕等 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 450000 《少女前线:云图计划》登顶海外iOS免费榜,少前IP如何在全球释放潜能? 散爆网络针对《云图计划》的出海发行究竟做了什么?作为早年出海黑马,在竞争日渐激烈、营销模式持续迭代的今天,其打法又有何独特之处? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 453000 行业动态 淘宝泰语版正式上线:新用户激增60%,亚洲市场布局再添新版图 淘宝新增泰语版,亚洲布局再进一步。 siyushenqi.com 2025 年 8 月 5 日 439000 行业动态 外贸企业如何通过iMessage营销提升产品的曝光度 利用高打开率提升产品曝光 通过即时沟通增强客户互动 个性化信息提高转化率 建立客户关系促进复购 多媒体内容的应用 利用高打开率提升产品曝光 在现代营销中,曝光度是品牌成功的关键因素之一。外贸企业通过iMessage营销,可以充分利用其高打开率这一特性,迅速吸引目标受众的注意。iMessage的打开率远高于传统的电子邮件或短信营销手段,意味着信息能够更快速地抵… siyushenqi.com 2025 年 8 月 13 日 下午11:38 475000 Lemon8在美国推不动,到底是哪里做错了? 一款以柠檬黄为主视觉颜色的应用空降下载榜榜单——今年3月,异常拥挤的美国社交媒体赛道迎来新挑战者Lemon8。 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 455000 发表回复 请登录后评论...登录后才能评论 提交