微软用AI Agent生成2500万对高质量数据，极大提升大模型性能！ siyushenqi.com • 2025 年 8 月 13 日 下午9:10 • 行业动态 • 阅读 453 为了解决训练数据短缺和质量差的难题，微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Instruct。 摘要 Agent Instruct采用这种方法，通过智能体协作自动完成数据的转换、清洗和优化，以合成高质量的训练数据。 研究人员使用Agent Instruct自动生成了一个包含2500万个配对的高质量合成数据集，覆盖了文本编辑、创意写作、编程、阅读理解等多项技能。 利用生成的数据，研究人员训练并微调了Mistral-7b模型，开发出了性能更优的Orca-3模型。 随着ChatGPT、Copliot等生成式AI产品的快速迭代，对训练数据的需求呈指数级增长，同时也是提升大模型性能的关键环节之一。 为了解决训练数据短缺和质量差的难题，微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Instruct。 论文地址：https://arxiv.org/abs/2407.03502 为了突破传统合成数据的拟合性、多元化性差等，AgentInstruct使用了一种创新性方法“生成教学”（Generative Teaching），并通过多种智能体共同协作自动完成数据转换、清洗、优化从而合成高质量数据。 AgentInstruct会先收集各种原始数据种子，例如，教科书章节、网络文章、代码片段等。这些种子作为后续数据合成的基础，为模型提供了丰富的信息来源。 然后通过Content Transformation Agents智能体将原始的种子材料转换成一种中间形式，这种形式简化了后续步骤中针对具体目标创建指令的过程。 例如，一个简单的文本段落会被转换成一个论点段落、会议记录转录内容、API列表等。通过转换过程使得原本无结构的内容变得更加有条理，同时也保留了原始材料的多样性和丰富性。 在种子指令创建流程中，Instruction Creation Agents智能体会进一步处理这些经过初步转换的内容，创造出多样化的指令。 这些指令可以是要求模型执行某一特定任务的请求，例如，修改一段文字、编写一个故事、解释一个概念或是完成一个编码任务。 该阶段的目标是生成一系列具有挑战性且多样的任务，从而让模型在训练过程中接触到尽可能多的不同类型的任务。 为了进一步提指令的质量和复杂性，研究人员引入了指令细化流程，通过Refinement Agents智能体对指令进行深入的迭代优化，确保每一条指令都能够更加精准地达到预期的数据效果。 在细化的过程中，智能体首先提出各种可能的改进方案，旨在增加指令的复杂性、多样性和质量。例如，可能会提出修改指令中的某些部分，使得原本直接的问题变得更加间接，或者增加一些需要模型进行推理才能得出答案的元素。 然后再对改进后的方案进行一步优化，并且在语言表述上保持清晰和准确。智能体会仔细审核每一条建议的可行性和效果，然后以一种合理的方式整合到指令中。整个流程会反复进行迭代、优化，直到达到预期的合成数据规模和质量水平。 研究人员通过Agent Instruct自动生成了2500万个配对的高质量合成数据集，包含文本编辑、创意写作、编程、阅读理解等。然后再用生成的数据对Mistral-7b模型进行了训练、微调，开发了Orca-3模型。 在一系列基准测试中，Orca-3相比原来的Mistral-7b-Instruct的模型性能提升巨大。例如，在AGIEval上提升了40%，MMLU上提高了19%，GSM8K上进步了54%，BBH上提升了38%，AlpacaEval上提升了45%。同时，Orca-3在多项指标上也超越了LLAMA-8B-instruct和GPT-3.5-turbo等其他模型。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/32521.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 内卷的扫地机器人，创新是唯一的出路 上一篇 2025 年 8 月 13 日 下午9:10 AI正在重构支付宝 下一篇 2025 年 8 月 13 日 下午9:10 相关推荐 行业动态 Walmart（沃尔玛）自养号：提升销量与排名的运营全攻略 在沃尔玛电商平台的激烈竞争中，销量与排名直接决定着产品的市场表现。自养号测评作为一种精细化运营策略，通过模拟真实用户行为、优化关键词布局、构建独立测评环境，成为提升产品竞争力的有效途径。本文将从技术搭建、行为模拟、风险控制三个维度，系统解析自养号测评的核心逻辑与实操方法。 一、技术环境搭建：构建独立测评生态自养号测评的核心在于模拟真实用户的物理与网络环境。首… siyushenqi.com 2025 年 8 月 13 日 下午9:10 453000 行业动态 除了深度换脸、模拟配音，还能口型匹配的AI软件出现了 据海外媒体报道，上周一款名为LipDub 的翻译软件正式发布，这款AI程序可以让视频创作者在几分钟内使用不同 siyushenqi.com 2025 年 8 月 13 日 459000 行业动态 英伟达财报逆天却股价下跌，只因黄仁勋也说不清AI的未来了 把英伟达当做水晶球的华尔街失望了。 siyushenqi.com 2025 年 8 月 13 日 396000 行业动态 WhatsApp群发在私域流量运营中的价值研究 WhatsApp群发作为数字化营销的重要工具，逐渐成为私域流量运营中的关键部分。它不仅提高了企业与客户之间的沟通效率，还能增强客户粘性、促进转化。然而，WhatsApp群发也面临地域限制、过度使用引发的反感等挑战。其在私域流量管理中的... siyushenqi.com 2026 年 1 月 24 日 340000 上线三年营收超1亿美元，他的塑身衣独立站登顶全美第一 “一个价值700亿美元的塑身衣市场” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 530000 行业动态 大润发，要被卖了 被阿里摆上货架。 siyushenqi.com 2025 年 8 月 5 日 407000 行业动态 2024阿贝尔奖得主致年轻数学家：你们选择了绝对正确且完美的领域 2024年阿贝尔奖得主Michel Talagrand向年轻数学家分享建议的视频引发了网友关于数学学习方法论的探讨。学无定法，但是对于数学的热情和坚持不懈的努力是必不可少的。 siyushenqi.com 2025 年 8 月 13 日 421000 行业动态 AI营销平台Clay获6200万美元融资，估值5亿美元 AI营销、销售平台Clay在官网宣布获得6200万美元融资，本次由Meritech Capital领投，红杉资本、First Round、Box Group、Boldstart及多位销售与营销界领袖共同参与。 siyushenqi.com 2025 年 8 月 13 日 490000 AI元年，大家不招原画了吗？ 找了快两个月的原画工作后，屡屡碰壁的巫白白离开了游戏行业，回老家的职校教游戏美术设计。美术专业毕业的巫白白，先后在上海两家知名新锐厂商担任场景原画，应当说履历还是漂亮的。巫白白感叹，今年原画或者说整个美术岗就业环境与刚入行时“不可同日而语”，与他竞争同一个岗位的数位候选人，基本都有五年以上经验。而只有两年经验的巫白白，屡次倒在面试环节。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 486000 “短剧风暴: 引爆未来十年影视变局” 论坛成功举办 国际短剧艺术节11月9日在加州大学尔湾分校举办《短剧风暴: 引爆未来十年影视变局》论坛。 siyushenqi.com 2025 年 11 月 14 日 • 行业动态 385000 行业动态 data.ai 10 月中国非游戏厂商及应用出海收入 30 强：语音聊天室 aMurmur 收入大涨上升两位 2023 年 10 月中国非游戏厂商及应用出海收入 30 强榜单出炉 siyushenqi.com 2025 年 8 月 18 日 428000 字节跳动日本发布漫画应用FizzoToon，2.5亿投资Kiadari引进韩漫 海外漫画市场再添一名强势选手。据Tech星球报道，字节跳动近日在日本上线了漫画APP《Fizzo Toon》，正式进入动漫文化浓厚同时竞争也相当激烈的日本市场。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 591000 行业动态 一周要闻NO.141丨小红书正式进军跨境电商；华谊兄弟清仓英雄互娱获利约9100万；Meta与台积电合作测试首款自研AI芯片 一起看看这周有哪些出海圈值得关注的大事记吧！ siyushenqi.com 2025 年 8 月 14 日 461000 Slots游戏赛道：出海美国需注意哪些合规红线 随着中国手游海外发行经验的积累，美国市场成为各大厂商争夺的战略重点地区。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 578000 行业动态 中东土豪，悄悄买空全球游戏圈 一个「电子游戏绿洲」之梦，正在沙漠中逐渐成形。 siyushenqi.com 2025 年 8 月 18 日 460000 蜜芽APP关停，洋码头人去楼空：进口电商"寒冬"悄然来临? 跨境进口电商平台，究竟该如何自救? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 360000 行业动态 AI飙戏发红包，年轻人过年在支付宝玩疯了 支付宝五福，玩出新花样。 siyushenqi.com 2025 年 8 月 13 日 460000 米哈游最有权力的八个人 谁在退，谁在上，还真不清楚 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 478000 “交火”的运营公司，又是如何与 DDoS 攻击交火的？ 在南美和北美地区排名第一的游戏发行商 Smilegate West 通过自家的游戏平台 Z8 Games 发行了很多广受欢迎的在线游戏。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 327000 行业动态 2024美国电商排行：亚马逊稳居第一，沃尔玛、eBay紧追其后 2024年，美国电商平台排行榜前五名分别是亚马逊、沃尔玛、eBay、Target和Best Buy。其中，亚马逊稳居第一，销售额是其他平台总和的三倍；沃尔玛凭借模仿亚马逊的模式稳固第二名；eBay面临下滑趋势，GMV从2022年的305亿美元降至2024年的296亿美元；Target和Best Buy分别位居第四和第五，但Best Buy的GMV仅为138亿美元，与第六名的Temu差距缩小。 siyushenqi.com 2025 年 8 月 5 日 573000 行业动态 如何通过海关数据分析制定外贸营销战略 识别市场需求变化 分析竞争对手出口情况 发现潜在客户群体 优化产品定价策略 制定精准营销计划 识别市场需求变化 外贸企业通过分析海关数据可以准确掌握市场需求的变化趋势。海关数据包含着商品的进出口数量、贸易额、流向国家等详细信息，企业可以根据这些数据了解哪些市场需求在增长，哪些市场需求在萎缩。这些信息为企业的生产、研发和市场定位提供了科学依据。及时识别需求变化… siyushenqi.com 2025 年 8 月 13 日 下午9:10 453000 行业动态 东南亚电商：中国互联网企业的第二战场 以下文章来源于经济观察报观察家 ，作者陈永伟 ，内容仅供网友参考学习。扬帆出海欢迎行业优质稿件投稿。 超级平台 适逢一年一度的电商节日618，各大电商平台纷纷卯足了劲进行促 siyushenqi.com 2025 年 8 月 13 日 408000 破解游戏增长困局，聊聊2023年增长的两大机会点 在竞争中持续寻找增长方向。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 460000 行业动态 Meta开年裁员1500人，降本资金all in AI，700亿美元巨额亏损致其“元宇宙”梦碎？ AI已成为“最高优先级”。 siyushenqi.com 2026 年 1 月 15 日 336000 第一批AIGC独角兽开始裁员了 个体与行业的兴衰在此处交织，也算是眼下AIGC浪潮下的奇观。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 456000 行业动态 Facebook的“后IDFA时代”计划：关闭针对iOS14的Audience Network？ Facebook正在紧锣密鼓的为广告主们找寻应对苹果限制IDFA的对策，这个过程不是那么甜蜜，但是必须这样进行下去。 siyushenqi.com 2025 年 8 月 26 日 461000 AC Ventures、BCG & BCG X、印尼商会发布重要的通用AI报告，勾画印尼金融服务的未来 该报告名为《利用(通用)AI在印尼金融服务中的力量》，探讨了通用AI在印尼金融部门的采用和影响，并为领导者提供了将通用AI整合到他们的产品和运营中的战略建议。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 491000 行业动态 “电摩”火了，估值一年翻了20倍 “这绝对是2022年消费领域为数不多的热门赛道。” siyushenqi.com 2025 年 8 月 13 日 416000 行业动态 小象超市启航沙特，前置仓海外业务引关注 美团的前置仓业务小象超市开启出海进程，首站选择在沙特阿拉伯落地，由美团资深员工刘薇牵头。 siyushenqi.com 2025 年 8 月 5 日 438000 国产卡牌上线日本，仅用3天破500万收入 4月10号，由国内游戏厂商上海乐蜀网络开发的卡牌RPG手游《魔镜物语》上线日本地区。在短短3天的时间里，《魔镜物语》的成绩有些出乎意料。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 442000 发表回复 请登录后评论...登录后才能评论 提交
