谷歌等最新研究,合成数据可将大模型数学推理提升8倍 siyushenqi.com • 2025 年 8 月 13 日 下午10:02 • 行业动态 • 阅读 475 人类公开的高质量文本训练数据集约有300万亿tokens,但随着大模型的发展,这些数据可能在2026年被消耗完,合成数据成为替代方案。 摘要 研究人员提出正面数据(正确解决方案)和负面数据(错误解决方案)两种类型。正面数据提供正确示例,但存在局限性,如无法充分揭示内在逻辑、可能导致模型依赖错误关联等。 负面数据帮助模型学习避免错误,增强逻辑推理能力,但错误步骤可能包含误导性信息。研究人员通过DPO(直接偏好优化)方法优化,为解题步骤分配优势值,帮助模型动态调整策略。 在GSM8K、MATH等数据集上测试表明,使用正面和负面合成数据预训练的大模型在数学推理任务上的性能相比仅使用正面数据提升了8倍。 研究证明合成数据特别是负面数据在大模型训练中的重要性,通过纠正错误和强化学习,模型能够更有效地掌握数学逻辑和问题解决技巧。 根据AI发展科研机构Epoch AI公布的关于大模型消耗训练数据的研究报告显示,人类公开的高质量文本训练数据集大约有300万亿tokens。 但随着ChatGPT等模大型的参数、功能越来越强以及过度疯狂训练,对训练数据的需求呈指数级增长,预计最快将在2026年消耗完这些数据,而合成数据成为最有效的替代方案。 卡内基梅隆大学、谷歌DeepMind和MultiOn的研究人员联合发布了一篇论文,来研究合成数据对训练大模型的价值。 为了发现合成数据的不同能力,研究人员提出了正面和负面两种数据类型。正面数据,即正确的问题解决方案,通常是GPT-4、Gemini 1.5 Pro等高性能大模型生成的数据,为大模型提供了正确的示例,以便学习如何解决类似的数学等问题。 仅仅依赖正面数据进行训练,虽然能够提供适度的性能提升,但这种方法存在两大局限性:1)可能无法充分揭示问题解决过程中的内在逻辑,因为模型可能仅仅通过模式匹配而非真正理解来学习解决问题。 2)随着训练数据量的增加,模型可能学会依赖一些偶然出现的错误关联或非本质特征,这导致了模型泛化能力的降低,尤其是在处理新颖问题时这一情况就越发明显。 所以,又提出了负面数据类型,这是一种被最终答案验证器判定为错误的数据,为模型提供了学习避免错误的机会。错误的解题步骤能揭示模型在推理过程中的缺陷,促使模型学习如何避免这些错误,进而增强其逻辑推理能力。前段时间国内非常火爆的“弱智吧”数据就是属于这一类型。 但是想有效利用负面数据也并不容易,因为错误的步骤可能包含误导性的信息,如果未经恰当处理,反而可能加剧模型的错误学习。 研究人员则使用了DPO(直接偏好优化)方法进行了优化,帮助模型从错误中学习,同时强调每个解题步骤的重要性。 通过对比正面和负面数据,DPO能够为每个解题步骤分配一个优势值,这个值反映了该步骤相对于理想解法的相对价值。 高优势值意味着该步骤在正确解题路径中是关键的,而低优势值则可能指向了模型推理过程中的问题所在。利用这些优势值,模型可以通过强化学习的方式动态调整其策略,以更高效地学习和改进合成数据。 为了测试正面和负面合成数据的性能,研究人员用DeepSeek-Math-7B、LLama2-7B等模型,在GSM8K、 MATH数据集上进行了综合测试。 结果显示,经过正面和负面合成数据预训练的大模型,在数学推理任务上的性能与仅使用正面数据相比,性能提升了8倍。这表明在强化学习框架下,大模型通过纠正错误并从中学习,能够更加有效地掌握数学逻辑和问题解决技巧。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33037.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 Meta新款AI眼镜或年底发布 上一篇 2025 年 8 月 13 日 下午10:02 Llama 4重磅来袭,Meta叫板OpenAI 下一篇 2025 年 8 月 13 日 下午10:02 相关推荐 行业动态 欧美客户的度假时间一览,外贸人可别扑空! 欧美客户一般独家的时间都集中在7月到9月,但是不同国家的放假时间也不一样,以下提供一些国家和地区的度假时间,供大家参考。通常来说,只有欧美的客户才会放这种长假,其他国家和地区通常还是跟我们一样,全年工作,假期也只有偶尔几天,不像欧美客户度假时间这么长。 通常来说,只有欧美的客户才会放这种长假,其他国家和地区通常还是跟我们一样,全年工作,假期也只有偶尔几天,不… siyushenqi.com 2025 年 8 月 13 日 下午10:02 475000 行业动态 WhatsApp引流获客方法来啦! WhatsApp引流获客方法来啦! 以下是几种使用WhatsApp进行引流获客的方法: 1.将WhatsApp链接添加到你的网站或社交媒体页面 将WhatsApp的链接添加到你的网站或社交媒体页面,让用户可以直接与你联系。这样可以方便客户与你交流,从而提高交易成功率。 2.使用WhatsApp群组 创建一个专门的WhatsApp群组,让用户加入,分享有关你的… siyushenqi.com 2025 年 8 月 13 日 下午10:02 475000 行业动态 ROI、上架、归因,非游出海的「三座大难」如何解? 直击出海痛点,深剖破解之道。 siyushenqi.com 2025 年 8 月 17 日 394000 联手全球顶级动画公司,《原神》动画项目为何能引发全球热议? 《原神》二创生态的繁荣,行业基本有目共睹,B站上有着大量播放量超百万千万的二创视频。甚至玩家群体里还有了个梗,「压力来到了官方这边」,调侃官方被玩家比下去了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 435000 行业动态 获得红杉等机构千万美金投资,上线首月GMV达400万元,“天猫精灵”创始人入局AI玩具能否再掀热潮? 去儿童AI玩具市场探索新蓝海。 siyushenqi.com 2025 年 8 月 13 日 395000 行业动态 冲击万亿美元市场,中国香港团队打造的AI智能吊坠能否成为高压职场女性的情绪救星? AI智能吊坠也能兼具情绪管理和时尚属性了? siyushenqi.com 2025 年 9 月 28 日 442000 海外开发者谈丨《Kids vs Zombies》制作人教你如何打造非线性PVP对战玩法 设计一款市面少有的游戏,总要付出一些培训成本 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 413000 行业动态 TikTok推出首个个性化年度回顾功能:“TikTok上的一年” 据外媒报道,Spotify用户和Instagram用户分别可以用个性化的Wrapped和Top 9功能来总结他们的一年。 siyushenqi.com 2025 年 8 月 25 日 512000 行业动态 蚂蚁的AI故事,讲到哪儿了? 让AI点外卖、理财、看病,靠谱吗? siyushenqi.com 2025 年 8 月 13 日 461000 行业动态 SAGI GAMES曾嵘:《Genius Shooter》,小团队如何搏击北美市场 2019年,伴随着《弓箭传说》的火爆。使得无数后来者纷纷仿效,而后又在这种蜂拥的仿效中纷纷为人所遗忘。 siyushenqi.com 2025 年 8 月 25 日 392000 行业动态 第一批落地大模型的企业现在做得怎么样了?| QCon北京2024日程上线 4月11-13日,QCon 全球软件开发大会暨智能软件开发生态展将在北京国测国际会议会展中心正式召开 siyushenqi.com 2025 年 8 月 13 日 460000 行业动态 Token已死?AI认知的新范式正在崛起 Meta正在尝试改变AI的思维方式,从传统的基于离散符号系统(token)的机器“思考”逻辑转向更接近人类概念化思维的模型。 siyushenqi.com 2025 年 8 月 13 日 416000 盟玩科技、Nino、深海游戏确认参加第三届全球产品与增长大会-游戏研发发行对接会 盟玩科技、Nino、深海游戏确认参加第三届全球产品与增长大会-游戏研发发行对接会 siyushenqi.com 2025 年 8 月 23 日 • 行业动态 495000 2026年1月 | 海外短剧应用下载与收入排行榜 2026 年 1 月海外短剧应用下载与收入排行榜。 siyushenqi.com 2026 年 2 月 10 日 • 行业动态 447000 行业动态 卖家囤积ChatGPT账号!有人开始用它直播 ChatGPT被跨境卖家视为最强辅助,还有哪些可能性? siyushenqi.com 2025 年 8 月 14 日 574000 行业动态 《Liftoff 2020移动游戏报告》出炉,封城令成就移动策略游戏元年 中国北京,2020年9月22日讯——移动应用营销和再营销行业的领导者Liftoff今日发布《2020移动游戏应用报告》。 siyushenqi.com 2025 年 8 月 26 日 454000 靠内容批量“复制”,他们在TikTok年销数百万美元 不投任何广告,16个月卖出百万销售额。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 437000 开发了《部落冲突》的Supercell,今天依然在用自己的思路打造爆款 今年2月,芬兰手游开发商Supercell公布了公司2021年的财务数据,财报显示,2021年Supercell营收为22.4亿美元,与2020年相比同比增长了45.3%。这家厂商推出过多款爆款产品,最引人注目的莫过于已经运营了10年的《部落冲突》。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 458000 行业动态 两年收入超千万美金,突破同质化痛点,AI生图让技术秒变艺术 文生图+图生图一体化,AI图像再现新玩法。 siyushenqi.com 2025 年 8 月 13 日 435000 羊驼进化成鲸鱼,Meta把对齐「自动化」,Humpback击败现有全部LLaMa模型 数据质量很重要 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 427000 行业动态 分析师:阿里组织架构调整,Lazada受益 分析师和投资者对阿里巴巴组织架构调整的计划反应积极。 siyushenqi.com 2025 年 8 月 13 日 470000 行业动态 内外部因素共同推动人民币汇率走强 8月份以来,人民币对美元汇率在波动中走升,尤其是8月下旬以来,上涨势头尤为强劲。 Wind数据显示,8月份,在岸、离岸人民币对美元汇率涨幅分别为0.83%、1.21%。其中,8月29日盘中,在岸、离岸人民币对美元汇率最高分别升至7.1260、7.1155,均创2024年11月7日以来新高。不仅如此,8月29日,人民币对美元汇率中间价上调33个基点至7.10… siyushenqi.com 2025 年 8 月 13 日 下午10:02 475000 行业动态 日耗近千万!三七、途游、大梦龙途杀疯?TOP5快速洗牌! 异军突起的小游戏越来越多了。 siyushenqi.com 2025 年 8 月 18 日 476000 行业动态 TikTok硬砸15亿美元,就为了能回印尼卖货。 TikTok 电商在印尼的全国网购日,又华丽回归了。 siyushenqi.com 2025 年 8 月 12 日 430000 行业动态 小扎发布虚拟聊天AI,竟「1:1复刻」Character.AI?用户吐槽:设定太老土了 Meta的AI产品化之路,第一步可能就是先抄Character.AI的虚拟角色聊天功能。更多消息,周三Meta Connect大会揭晓。 siyushenqi.com 2025 年 8 月 13 日 413000 行业动态 字节AI视频模型Seedance2.0全球发售搁浅,版权问题成出海拦路虎 字节Seedance2.0因版权争议暂停全球发布,好莱坞巨头联合指控侵权。AI视频生成技术面临内容合规挑战,版权治理成出海关键瓶颈。 转自扬帆出海 2026 年 3 月 23 日 291000 行业动态 UGC、PGC与OGC内容在海外种草营销中的最佳实践 UGC的优势 PGC的优势 OGC的优势 UGC、PGC与OGC对比 UGC的优势 用户生成内容(UGC)是指由品牌的消费者或用户自发创作并分享的内容。在海外种草营销中,UGC的最大优势是其增强了内容的真实性与可信度。当消费者看到自己或他人的使用体验时,容易产生共鸣和信任。这种信任感促使潜在消费者更有可能做出购买决策。例如,Instagram上的用户晒出购买… siyushenqi.com 2025 年 8 月 13 日 下午10:02 475000 伽马数据报告:今年游戏市场收入或超2700亿元,移动游戏增幅达30% 9月10日,伽马数据联合腾讯云发布了《2020游戏产业趋势报告》。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 498000 乐歌:从贴牌外贸到造船出海的“单项冠军” 从贴牌代工到品牌出海,乐歌股份的全球化之路 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 405000 行业动态 Adjust深度分享:应用营销将掀起全球增长新浪潮 在大量创新和机遇的背后,不仅得益于移动基础设施的提升和智能手机价格的下调,更有赖于中产阶级规模的扩大。 siyushenqi.com 2025 年 8 月 3 日 459000 发表回复 请登录后评论...登录后才能评论 提交