微软发布Phi-4,最强小模型!参数极小、超GPT-4o siyushenqi.com • 2025 年 8 月 13 日 下午10:21 • 行业动态 • 阅读 375 Phi-4是微软研究院发布的Phi系列第五代模型,拥有140亿参数,尽管参数量小,但在GPQA研究生水平和MATH数学基准测试中分别达到了56.1和80.4的高分,超过了GPT-4o和其他同类型开源模型。 摘要 Phi-4在美国数学竞赛AMC测试中取得了91.8分,超越了多个知名开闭源模型,整体性能可与4050亿参数的Llama-3.1相媲美。 Phi-4的成功部分归功于使用高质量合成训练数据,包括种子策划、多Agent提示、自我修订工作流、重写和增强以及指令反转等多种合成方法,有效解决了传统无监督数据集的缺点。 研究人员针对Phi-4使用了针对性的创新训练方法,并根据实际需求调整各类数据的比例,特别是增加了rope位置编码的基础频率至25万次,并降低了最大学习率,以适应更长的文本序列。 Phi-4在后训练过程中采用了基于人工标注的SFT数据和自动构建的DPO对进行强化训练,引入了Math-Shepherd工具进行验证和强化学习,提升了在STEM领域问题解答的准确率,同时在编程代码评估任务上也采取了类似方法提升执行效率和准确性。 微软研究院发布了最强小参数模型——Phi-4。 Phi系列模型自今已经发布了5代,Phi-4也延续了之前的小参数模式只有140亿。 但在GPQA研究生水平、MATH数学基准中,分别达到了56.1和80.4超过了GPT-4o,同时也超过了同类型的开源模型Qwen 2.5 -14B和Llama-3.3-70B。 而在美国数学竞赛AMC的测试中,Phi-4达到了惊人的91.8分,再次超过了GeminiPro 1.5、GPT-4o、Claude 3.5 Sonnet、Qwen 2.5等知名开闭源模型,甚至整体性能可以与4050亿参数的Llama-3.1相媲美。 这也就是说,只要使用了高质量数据和创新训练方法,小参数模型同样可以战胜大参数,但在部署、应用和推理方面极大减少了对AI算力和环境的要求。 使用高质量合成数据 Phi-4能以如此小的参数获得巨大性能,使用高质量合成训练数据是关键环节之一。 传统的大模型通常依赖于从网络抓取或公开数据库获取的真实世界文本作为训练数据,这种方法虽然能够提供丰富的信息来源,但也容易受到噪声干扰和偏见影响。 Phi-4则使用了种子策划、多Agent提示、自我修订工作流、重写和增强以及指令反转等多种合成方法,有效解决了传统无监督数据集的缺点。 种子策划是合成数据生成的起点。Phi-4从多个领域提取高质量的数据种子,为合成数据生成打下坚实基础,使得能够创建针对模型训练目标的练习、讨论和推理任务。 策划的种子包括从网页、书籍和代码库中提取的文段和代码片段,这些内容展示了高复杂性、深度推理和教育价值。为了确保质量,采用了两阶段过滤过程:首先是识别具有强教育潜力的页面,然后是将选定的页面分割成段落,对每个段落进行事实和推理内容的评分。 此外,多Agent提示允许不同智能体之间进行交互对话,从而创造出更加多样化且贴近真实应用场景的交流场景;而自我修订工作流则鼓励模型参与到自身的编辑过程中,以此提高输出内容的质量和一致性。 通过改变任务描述的方式,指令反转可以增加模型处理不同类型问题的能力,进一步增强了其灵活性和适应性。 总体上,一共生成了50 种不同类型的合成数据集,涵盖广泛的主题和技能,总计约 400B未加权的高质量token数据。 创新训练方法 为了确保phi-4能在广泛的任务类型上表现出色,研究人员使用了一系列针对性创新训练方法,并根据实际需求调整各类数据的比例。尤其是针对长上下文理解能力的需求,phi-4增加了rope位置编码的基础频率至25万次,并相应地降低了最大学习率,以更好地适应更长的文本序列。 这种做法有效提升了模型对于复杂结构化信息的理解力,使其在面对需要综合分析多个段落甚至整篇文章的问题时也能游刃有余。phi-4还特别注重了不同类型数据之间的平衡,避免某类数据过多导致其他方面性能下降的情况发生。 而在 phi-4 的后训练过程中,研究团队采用了两种形式的 DPO 数据对模型进行了强化训练。第一种是基于人工标注的 SFT数据,即由专家精心挑选并标记好的问答对; 第二种则是自动构建的 DPO 对,这种方法通过搜索重要的转折点,将原始对话片段拆分成多个选项,并让模型从中选择最优解。通过结合这两种方式,phi-4 不仅学会了如何产生更符合预期的回答,还能够在不同情境下灵活调整语气和风格,从而提供更加个性化的交互体验。 此外,phi-4还引入了一些创新性的后训练方法,以增强其在特定领域内的表现。例如,在 STEM领域问题解答方面,phi-4 利用了一个名为Math-Shepherd 的工具来进行验证和强化学习。Math-Shepherd 可以自动检查模型生成的答案是否正确,并且在必要时提供额外指导,帮助模型逐步掌握正确的解题思路。 这种方法有效地解决了传统无监督数据集中常见的逻辑不严密等问题,使得 phi-4 在数学竞赛类题目上的准确率达到了惊人的80.4%,远超其他同类产品。 此外,针对编程代码评估任务,Phi-4 也采取了类似的方法,通过对大量开源项目中的代码片段进行分析和总结,提升了其在该领域的执行效率和准确性。 值得一提的是,微软AI副总裁、phi系列模型的灵魂人物之一Sébastien Bubeck已经离开了微软加入了OpenAI。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33198.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 OpenAI深夜突发o3-Pro,价格暴降80%,史上最强模型来了 上一篇 2025 年 8 月 13 日 下午10:18 豆包AI活跃用户全国第一,全球第二! 下一篇 2025 年 8 月 13 日 下午10:21 相关推荐 “正式版还没出,《逃离塔科夫》已经在迈向死亡了” 在即将过去的这一周里,曾被誉为“次时代爆款雏形”的《逃离塔科夫》,正遭受“塔科夫已死”的舆论冲击。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 620000 行业动态 君正ISP,正在抢滩AI眼镜 2025年第一季度,全球AI智能眼镜市场总销量达60万台,同比增长216%,但Ray-Ban Meta以52.8万台的销量占据主导地位。中国AI拍照眼镜市场虽有雷鸟V3和小米AI眼镜等产品,但整体仍面临“发布会火热、市场端冷清”的困境。 siyushenqi.com 2025 年 8 月 13 日 410000 老牌大厂的心酸与不易:从“业内第三”到人才出逃,如今第4次冲刺上市 几天前,蜗牛传出了将于纳斯达克上市的消息,让这家被戏称为游戏圈“黄埔军校”的昔日大厂再次回归众人视野。从招股书披露的信息来看,蜗牛显然已经不再留恋过去,而是准备重新出发。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 427000 免缴VAT税、佣金下调、销售额暴涨95%,这个市场的新卖家正在闷声发财! 继墨西哥新税法不适用于中国跨境卖家的利好消息之后,6月17日,Mercado Libre平台开始实施新的佣金模式,将原17.5%固定佣金模式改成按类目收取佣金的模式。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 428000 行业动态 中手游、B站相继裁员,开放世界游戏“难产” 中手游旗下的满天星工作室负责的《仙剑世界》和B站自研的《代号:UE》两款开放世界游戏项目均遭遇挫折。《仙剑世界》上线仅1个月,成绩远低于预期,导致满天星工作室裁员超过八成。《代号:UE》项目也被裁撤,团队规模约百人,开发了2年左右。 siyushenqi.com 2025 年 8 月 17 日 475000 《刺客信条:Jade》会成为腾讯手中的下一个《原神》吗? 年轻人的第一款放开世界手游何必是…… siyushenqi.com 2025 年 8 月 24 日 • 行业动态 435000 行业动态 OpenAI发布季第十天:ChatGPT登陆电话、WhatsApp,你可以给ChatGPT真正打电话了 OpenAI为ChatGPT推出了电话联系方式1-800-CHATGPT(1-800-242-8478),美国用户每月可享15分钟免费通话,以及WhatsApp联系人,全球用户可通过发送文字信息与之交流。 siyushenqi.com 2025 年 8 月 13 日 479000 行业动态 一图Q&A | 游戏下半场打响,如何面对2023的新变量和新机遇? 腾讯全球数字生态大会「游戏专场」大咖观点速览 siyushenqi.com 2025 年 8 月 19 日 398000 网易游戏“加料”AI 腾讯游戏“储粮”满满 藏在腾讯网易财报里的游戏答卷。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 468000 国货美妆出海先锋,是如何立足国际的? 26个国产美妆品牌,25个在出海。在美妆出海的队伍中,有哪些佼佼者呢?中国美妆品牌出海现状如何?DTC美妆的出海归途在哪? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 466000 行业动态 AI推动动漫短剧崛起,正重新定义创作与市场边界 日本动漫的全球领导地位正受到挑战,韩国的Line Manga和Piccoma在亚太地区数字漫画市场份额超越了日本的Jump+,占据了60%以上的市场份额。 siyushenqi.com 2025 年 8 月 17 日 529000 出海游戏研发找发行 第02期 三国卡牌类、《三国人生》、休闲H5出海游戏找发行! siyushenqi.com 2025 年 8 月 26 日 • 行业动态 440000 行业动态 不好意思,2024首轮二次元大战,由我来开打! 《白荆回廊》无疑是“2024开年最值得期待手游”。 siyushenqi.com 2025 年 8 月 18 日 439000 行业动态 微软与Open AI关系再度降温 微软因OpenAI与亚马逊合作或起诉,AI领域竞争加剧,市值蒸发超万亿美元,内部重组应对挑战。 转自扬帆出海 2026 年 3 月 23 日 210000 行业动态 人形机器人王者登场,黄浦江资本全球领投 众擎机器人完成A2轮融资,由黄浦江资本与河南国资汇融基金牵头,中东Stone、华控基金等老股东增持,国中创投、央视基金、吉利星源、南山区政府等新股东加入,形成国家级基金、地方国资、产业资本与头部市场化机构的联合投资阵容。 siyushenqi.com 2025 年 12 月 10 日 400000 《荒野乱斗》《万国觉醒》被集体起诉,“开箱子”玩法在美国的监管动态与趋势分析 就中国游戏公司出海所涉的主要法域内开箱子玩法是否构成赌博、该玩法对游戏评级的影响、相关利益团体对该玩法关注的要点以多国在此方面重要的立法执法动态等问题为切入点,简要梳理欧美多国对开箱子玩法的监管动态,以供出海企业参考。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 481000 行业动态 斩获国际设计大奖,国产AI手机壳出海,做起了“iPhone人”的生意 实用性与创造力并存,手机壳进入Next Level了。 siyushenqi.com 2025 年 8 月 13 日 452000 行业动态 横店,到底相不相信AI? 横店,一个被竖屏短剧占领的地方,正在被AI分成两半。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 《泛娱乐产品增长的 破局点在哪?》——哈乐沃德 联合创始人兼COO 刘汉仕 《泛娱乐产品增长的 破局点在哪?》演讲视频完整回放 siyushenqi.com 2025 年 8 月 3 日 426000 行业动态 阿里甩出了AI超级应用 加速AI变现。 siyushenqi.com 2025 年 8 月 13 日 456000 行业动态 拼多多和字节相继入局跨境电商,行业标杆Shein能否保住先发优势? 据报道,当中国Shein(希音)向着全球最大快时尚专业零售商的目标迈进时,它也吸引了一众模仿者,希望能够从Z世代对低价服饰的渴望中获利。拼多多和字节跳动最近几个月分别效仿Shein的模式,推出了Temu和If Yooou两个跨境电商平台。 siyushenqi.com 2025 年 8 月 13 日 482000 行业动态 500亿美元,甲骨文再加码AI 甲骨文计划2026年融资500亿美元扩建云数据中心,承接OpenAI、Meta等巨头AI算力需求,但投资者担忧巨额资本支出回报前景,股价已腰斩。 siyushenqi.com 2026 年 2 月 3 日 395000 一举冲上畅销第四,这真的是刚被“骂”完的游戏吗? 随着周年庆全新卡池的开启,还是这批玩家,又将《光夜》送上了iOS畅销榜第4的位置。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 489000 《星球护卫队》新品游戏找发行 《星球护卫队》新品游戏找发行 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 464000 行业动态 亿级跨境企业宣布倒闭 随着跨境电商的浪潮席卷全球,有的企业乘风而上,迅速崛起,但也有不少企业在市场的风浪中黯然失色,不得不选择退场。在5月底至6月初的这段时间里,深圳、东莞的多家出口大厂纷纷发出结业清算的通知,其中不乏一些规模过亿的知名企业。 siyushenqi.com 2025 年 8 月 6 日 440000 行业动态 在非洲怎么做短视频? 如果说东南亚是十年前的中国,非洲就是十年前的东南亚。 siyushenqi.com 2025 年 8 月 26 日 462000 新团队用AI做开放世界,是硬蹭还是业界先驱? 前一段时间,一个名为《当AI为NPC赋予灵魂,兢兢业业的NPC竟然也开始摸鱼翘班谈恋爱?》(下文简称《活生生的长安城》)的视频出现在我的视野,由于时下正值AI热潮,因此我也怀着了解技术的好奇心点进了视频。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 447000 行业动态 SHEIN 想在巴西做一个淘宝;Temu 或将进入加拿大和西班牙;双十一快递面临更复杂挑战 中国最大跨境快时尚平台 SHEIN 正在巴西试点平台模式;Temu 正筹备在加拿大开站,下一站或是西班牙,目前美国站的客单价在 20 美元 - 25 美元;多位电商平台和快递人士表示,相比 2021 年双十一和 2022 年 618 两次大促,今年双十一面临的挑战更复杂。 siyushenqi.com 2025 年 8 月 13 日 485000 行业动态 上线不足一年月入百万美金,新出海短剧应用如何赢下新战场 拿下美国女性就赢下了第一步。 siyushenqi.com 2025 年 8 月 17 日 436000 行业动态 这个近40年的「神级」游戏IP,是在阴沟里翻船了吗? 「马力欧大电影是一部不及格的电影」。在这电影刚出没多久,我就听到失望的声音。 siyushenqi.com 2025 年 8 月 24 日 418000 发表回复 请登录后评论...登录后才能评论 提交