耗资1.3万,ASU团队揭秘o1推理王者!碾压所有LLM成本超高,关键还会PUA siyushenqi.com • 2025 年 8 月 13 日 下午9:17 • 行业动态 • 阅读 412 LLM不会规划,大推理模型o1可以吗?ASU团队最新研究发现,o1-preview推理规划能力是所有模型之最,但仍未触及天花板。关键是,推理强,成本超高。 摘要 尽管LLM在许多任务上表现出色,但它们在规划任务上的表现并不理想。文章通过PlanBench测试基准来评估LLM的规划能力。 OpenAI声称其o1模型是一种新型的大推理模型(LRM),它通过强化学习进行多步推理,以改善规划能力。 o1模型的推理过程代价高昂,每100个实例的成本高达42美元,这使得其在实际应用中的可行性受到质疑。 尽管o1在规划任务上取得了一定的进步,但它仍然不是完美的解决方案。文章强调了在评估AI模型时需要考虑的准确性、成本和可解释性等因素。 LLM依然不会规划,LRM可以吗? OpenAI声称,草莓o1已经突破了自回归LLM常规限制,成为一种新型的「大推理模型」(LRM)。 它能够基于强化学习,通过CoT多步推理。并且,这种推理过程的代价,是高昂的。 来自ASU研究人员以此为契机,全面评估了当前LLM和新型LRM,在测试基准PlanBench上表现。 论文地址:https://arxiv.org/pdf/2409.13373 PlanBench是他们在22年提出,评估大模型规划能力的测试基准。 在最新测试中,研究人员发现,o1-preview表现出色,大幅领先其他模型,但也未完全通过PlanBench基准测试。 其他LLM,在Mystery Blocksworld上的性能都不过5%。在基准上的结果曲线,和X轴几乎融合。 足见,这些大模型的规划能力,非常地弱。 不过,作者指出,规划推理越长,o1-preview的准确率便会低于25%。 另外一个值得注意的点是,即便o1-preview超越了多数近似检索的普通LLM,成为一种近似「推理器」。 但是,这种推理成本高达42美元/100个实例。 总而言之,o1在推理规划方面开辟了新天地,但仍旧不是终极AI大脑。 最先进LLM,依然无法规划 作者认为,o1模型以往LLM很大不同在于,前者被训练成为近似「推理器」,而后者粗略视为「检索器」。 由此,o1发布之后,研究人员对其与普通的LLM进行了区分,并将o1称为「大推理模型」。 而要评估新模型的能力,以及局限性,还需要新的工具和评估方法。 PlanBench是在2022年GPT-3发布不久之后,亮相arXiv。此后,作者也在一个特定子集上(包含600个3-5 block问题的静态数据集),重新测试模型。 尽管相继出现的LLM参数规模越来越大,算力成本越来越高,但它们在简单的规划问题上,依旧无法实现饱和。 而且,多项研究中的改进并不稳健,可推广力没有那么高。 因此,PlanBench可以作为LLM和LRM在推理规划任务上,是否取得进步的一个衡量标准。 不过需要注意的是,这种测试只能作为性能的上限,尤其局限于静态测试集。 如下表1中,展示了当前大模型在600个3-5 Blocksworld静态问题测试集,以及600个语义相同但语法混淆的实例Mystery Blocksworld中的结果。 在这些模型中,Llama 3.1 405B在常规Blocksworld上,取得了最佳性能62.6%。 然而,尽管本质问题相同,许多模型在Mystery Blocksworld上,性能大打折扣几乎溃败。 没有一个模型,在PlanBench测试集中,达到5%的性能。 这是因为,LLM非常擅长提供等效表征之间的转换。 因此,大模型在Blocksworld未混淆语义语法的问题上,性能更高。这也预示着,如果LLM能够组合推理操作,明确提供从Mystery Blocksworld到Blocksworld表征翻译,或许LLM在此的性能差距应该会大幅缩小。 通过重写提示,研究人员发现,性能仅是提高了很小一部分—— GPT-4达到了10%。 作者还发现,与之前结果相反,单样本提示(one-shot)相较于零样本,并没有显著改善模型性能。 事实上,在许多模型中,one-shot效果似乎要差得多! 这一点,在对Llama系列模型的测试中,最为明显。 顺便提一句,在起初基准迭代中,研究人员并没有考虑效率问题,因为普通LLM生成某些输出,所需时间只取决于输出长度,与实例的语义内容、难度无关。 然而,LRM会根据输入内容,自适应改变每个实例所需的时间和成本,因此衡量计算效率变得尤为重要。 对此,ASU团队计算了不同模型的提示成本,如下表4所示。 看得出,100个实例,o1-preview推理的代价最高,为42.12美金。 接下来,就到了评估o1在PlanBench基准上的能力了。 从近似检索到近似推理 很多研究者都曾认为,通过近似检索来生成输出的「标准」自回归LLM,尽管能够在一系列系统1(快速、直觉性思考)任务中有着优异的表现,但不太可能具备更类似于系统2(慢速、分析性思考)的近似推理能力,而这种能力对于规划任务来说至关重要。 如今,OpenAI试图在o1上以不同的方式为底层LLM增添类似系统2的能力。 根据研究人员的推测,o1将底层LLM(很可能是经过修改的GPT-4o)与一个经过强化学习训练的系统相结合,该系统引导思维链推理轨迹的创建、整理和最终选择。 由此可知,o1与其他LLM存在两个主要区别: 第一,新增了一个额外的强化学习预训练阶段(可能是从大量合成数据中学习不同思维链的q值); 第二,采用了一个新的自适应扩展推理程序(可能是通过类似rollout的方式进一步细化学习到的q值,然后再选择特定的思维链)。 不管怎样,从已知的细节来看,这个模型在本质上与之前的LLM有根本的差异。 在原始测试集上评估LRM 在需要2到16步计划来解决的原始Blocksworld测试上,o1实现了高达97.8%的正确率。在Mystery Blocksworld上,也有着52.8%的正确率。 更进一步,研究人员通过完全随机的字符串生成了新的混淆,并以此得到了难度更高的Randomized Mystery Blocksworld。 在这个测试中,o1仍能答对37.3%的问题——与那些一题都答不上来的LLM形成了鲜明对比。 扩大问题规模 LLM的思维链提示是非常脆弱的,很难随着问题规模的增大而稳健地扩展,而且不能诱导出通用的算法程序跟随。 为此,研究人员构建了一组有着110个实例的Blocksworld测试。其中,block的数量从6到20个不等,需要20到40步计划才能完成。 在不做任何混淆处理的情况下,o1-preview仅仅达到了23.63%的准确率,而且大部分都是来自于那些需要少于28步的问题。 可见,模型的性能还远未达到稳健的程度。 不可解的实例 一直以来,LLM都难以判断一个问题是否有解,而OpenAI则声称o1已经能够进行准确地识别了。 为了系统地测试这一点,研究人员修改了原始测试集中的100个实例——通过在每个实例的目标状态中添加一个on(x,y)类型的连接词,使目标变得不可满足。 结果显示,在Blocksworld中,o1只正确且明确地识别出了27%的实例是不可解的。 在19%的情况下,模型会返回一个点或某种「[empty plan]」标记,但没有对可解性做出任何解释或说明。这是不正确的,因为「empty plan」只有在目标已经满足的情况下才是正确答案。 在剩余的54%的情况下,模型生成了一个「完整」的计划。显然,这是不可能也是不正确的。 在Randomized Mystery Blocksworld中,结果更糟: - 16%的情况正确识别出了问题不可解 - 5%的情况返回了「empty plan」 - 79%的情况给出了一个不可能或不满足目标的计划 可见,不可解实例仍然是LRM的一个问题。 不仅如此,这种识别能力也是有代价的——o1有时会错误地声称可解的问题是不可解的(假阴性)。 在Randomized Mystery Blocksworld中,模型的假阴性率达到了11.5%。 准确性和成本的权衡与保证 随着LRM在规划任务上取得更好的性能,评估也必须明确考虑,选择通用模型而非成熟专门系统来带的利弊。 虽然o1-preview准确性超越LLM,但缺乏的是正确性保证。 而且,目前尚不清楚它是否具备成本效益。 与之前模型不同的是,o1 API每次调用价格还包括基于使用「推理token」数量附加费用,并按照最高输出token计费。(这些token是在推理过程中生成,并没有直观展示出来) 这也就意味着,o1 API费用用户是无法控制的。 作者表示,o1推出不到一周,他们在PlanBench基准上测试模型,竟花费了1897.55大洋(约13300元)! 而且,能够访问的o1-preview似乎在每个问题上,使用的推理token数量受到限制。 这一点也可以从图2的平稳变化中,可以看出。(包括如下散点图) 这就存在一种认为降低总成本,最高性能的因素。 如果完整版o1取消这一限制后,可能会提高整体准确性,但随之带来的高昂推理成本更加难以预测(只会更加离谱)。 o1-mini虽然更具性价比,但总体性能还是较差。 由此,o1模型在成本、推理时间、保证、性能权衡上,仅是一种粗粒度的评估选择。 经典的规划器Fast Downward在数据集上,能够以更少时间、计算、成本,实现了100%准确率,同时能够保证答案准确度。 而在PC上运行Fast Downward基本上不需要花什么钱,平均每个实例耗时0.265秒。这要比如上表2中,o1平均时间快了几个数量级。 它通常也是可预测的,而且能直接扩展到更难的实例。 普通LLM非常擅长在不同格式之间转换问题,并可以结合Fast Downward一起使用,成本还仅是LRM一小部分。 对于没有简单PDDL域和实例规范的问题,LLM-Modulo系统可能是一种更安全、更便宜的方法。 即将一个较小、较快的LLM与一个可靠的验证器循环运行,使得组合系统只输出保证正确的解决方案。 后面这两种方法提供正确性保证,却在o1这样的LRM中严重缺失。 如果一个通过那个推理AI非常自信地制定错误计划,就不能部署在安全关键和非遍历领域。 当前,o1还是一个完全黑盒系统,要比之前模型更甚。OpenAI不仅保密其架构和推理过程,还警告禁止想要了解内部机制的用户。 这也就让o1的可解释性变为不可能,也降低了整个系统信任度。 o1的创造性解释 值得一提的是,当模型给出错误答案时,它有时还会为其决定提供一个富有创意但毫无意义的解释。 换句话说就是,o1从产生幻觉变成了PUA…… 在一个案例中,它认为一个无法解决的问题是可以解决的,因为一个目标条件虽然在最终状态中不存在,但在执行过程中的某个时点是真的,因此应该继续计算。 在另一个案例中,它宣称on(a,c)是真的,因为正如「on(a,c)」的字面意思,a在b上,而b在c上,因此a在c的「上方」。 结论 总结而言,LLM在原始Blocksworld测试集上的表现,会随着时间的推移有所提升。 其中,表现最佳的是Llama 3.1 405B——准确率高达62.5%。 然而,这些模型在同一领域的混淆版本上的糟糕表现,暴露了它们「近似检索」的本质。 相比之下,新的LRM,也就是o1,不仅几乎接近完美解决了原始Blockworld测试集,而且在混淆版本上首次取得了进展。 受此鼓舞,研究人员又评估了o1在更长问题和无解问题上的表现。 但结果显示,之前这些准确率的提升既不具有泛化性,也不具有稳健性。 最后,团队希望这份研究报告能够很好地展示LLM和LRM的规划能力,并为如何切实评估它们提供有用的建议。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32597.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 史上最高!OpenAI官宣获66亿美元融资,估值超1500亿美元 上一篇 2025 年 8 月 13 日 下午9:17 AI产品出海:有产品月下载量暴增7000%,情感社交热度持续,冷门功能赛道成新亮点 下一篇 2025 年 8 月 13 日 下午9:17 相关推荐 行业动态 蔡浩宇,困在“原神”里 蔡浩宇单人策划、仅配1名文案,用4个月把《Whispers from the Star》从首曝推到Steam试玩,以“极限速度”验证AI颠覆游戏开发。 siyushenqi.com 2025 年 9 月 1 日 498000 行业动态 dLocal、摩尔普斯 确认入驻PAGC 2025丨第五届全球产品与增长展会! dLocal、摩尔普斯 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 491000 运营干货 | 86%Z世代消费者看折扣选品牌,4大优惠券营销策略,助力独立站爆单! 独立站如何玩转优惠券营销? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 481000 行业动态 最稳的他出最猛的招,2025出海大潮上演“八先过海” 2025年2月,美国关税政策的剧烈波动让外贸商家经历了一场“过山车”。美东时间2月1日,特朗普政府宣布取消800美元以下中国包裹的免税政策,导致中小出口企业成本上升、利润压缩。然而,2月7日该政策又被暂时冻结,恢复免税额度,但未来政策仍存在不确定性,促使商家寻找新的破局之道。 siyushenqi.com 2025 年 8 月 5 日 433000 行业动态 又获2亿美元融资、月下载超千万,AI搜索工具也要建立用户内容生态? 这款AI工具还在疯狂吸粉。 siyushenqi.com 2025 年 9 月 16 日 500000 行业动态 欧盟将废除小额包裹免税政策,中国电商出海成本重置 欧盟正式废除150欧元以下小包关税豁免,2026年起征3欧元临时关税,91%受影响包裹来自中国电商。 siyushenqi.com 2026 年 3 月 2 日 284000 行业动态 黄仁勋谈过去一年AI模型的三大突破 黄仁勋称2025年代理式AI、开源推理DeepSeek、物理AI三大突破已现,全球砸数千亿美元基建,GPU租价飙涨。 siyushenqi.com 2026 年 1 月 29 日 446000 腾讯光子2023首款大作,《黎明觉醒:生机》正在打造开放世界生存方式的无限可能 对玩家的吸引力究竟在哪里 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 528000 如何挖掘题材品类的“预期差”?这款末日新游给出了解法 近年来,游戏市场迈入存量时代,“精品化”行业浪潮也随之愈演愈烈,厂商们聚焦热门题材、品类开展差异化创新的行为,已成为驱动新品突围的一个重要方向。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 441000 行业动态 韩国电商巨头Coupang进军印度市场 据外媒消息称,韩国电商巨头Coupang正计划进入印度市场,目前正在与印度政府进行对话。 siyushenqi.com 2025 年 8 月 13 日 479000 行业动态 这个总收入150亿的“大爆款”总算被救活了! 截止2023年Q3,《荒野乱斗》全球总收入已经突破20亿美元(约合人民币150亿)。 siyushenqi.com 2025 年 8 月 18 日 478000 短视频出海:混战之中,如何布局海外投放运营 在国内市场接近饱和的情况下,海外市场就成了短视频App新的增长点,各大厂商都积极入局,使得短视频出海一时间成为了热门赛道。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 475000 行业动态 苹果CEO库克否认退休传闻 苹果CEO库克驳斥退休传言,称热爱工作且无法想象离开苹果,正值公司50周年及AI、折叠屏产品关键期。 转自扬帆出海 2026 年 3 月 23 日 229000 行业动态 TikTok Shop,增速全球第一 2025年TikTok Shop活跃买家4亿、全年GMV近千亿美金,体量已列全球第五,增速第一。 siyushenqi.com 2026 年 1 月 8 日 392000 行业动态 All In TikTok,美妆品牌Y.O.U “杀”出一条路 近两年,国货美妆们正在扎堆出海。 siyushenqi.com 2025 年 8 月 13 日 460000 行业动态 日均Tokens使用量超5000亿,豆包大模型怎么抓住千行百业 大模型落地,如何百公里加速? siyushenqi.com 2025 年 8 月 13 日 559000 OpenAI发布GPT-4:能识图能算税,ChatGPT摆脱Chat,再次进化 这一次,它将成为开发者手中的利器 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 457000 完美世界离米哈游最近的一次 给大家上上强度。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 429000 Unity美国成功上市,市值达136亿美元 9月18日消息,今日Unity Software正式在纽交所成功上市 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 496000 鬼畜不输帕鲁,在当资本家这块,符文之路更丧心病狂 “看,这是朕为你们打下来的江山。” siyushenqi.com 2025 年 8 月 18 日 • 行业动态 433000 行业动态 微信小程序IAA热力飙升,短剧下半场新趋势揭晓 今年来,IAA短剧急速飙升,甚至开始分流IAP付费市场份额。 siyushenqi.com 2025 年 8 月 18 日 571000 任天堂发布新NS机型:OLED屏10月8日发售 任天堂官方youtube频道北京时间今晚9点发布新机宣传片,宣告Nintendo Switch OLED版本即将在2021年10月8日发布。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 492000 行业动态 马斯克的xAI以1130亿美元估值,出售3亿美元股权 xAI以1130亿美元的估值,正在出售3亿美元股权。目前股票出售细节尚未完全披露,但公司正在与潜在投资者就私募配售进行磋商。 siyushenqi.com 2025 年 8 月 13 日 419000 2020年YouTube游戏视频观看时长已高达1000亿个小时! 2020年,在YouTube网站观看游戏类视频的观众人数超过了以往的任何一年。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 464000 行业动态 如何通过Teams矩阵提升外贸团队的沟通效率 Teams矩阵的概念与价值 外贸团队沟通效率的核心挑战 Teams矩阵提升沟通效率的关键能力 Teams矩阵在外贸场景中的实施策略 持续优化与管理建议 在高度数字化和全球化的外贸环境中,沟通效率直接决定订单转化速度、客户满意度以及团队协作质量。Teams矩阵作为一种以协同平台为核心的组织与工具整合模式,正在成为外贸团队实现高效沟通的重要技术路径。 Teams… siyushenqi.com 2025 年 8 月 13 日 下午9:17 412000 29家上市游戏公司出海成绩:近半营收下滑,8家突破10亿元 出海已然成为各大游戏公司的战略方向之一,但那里也不存在所谓的「红利」 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 481000 行业动态 AI视频时代,如何才能不掉队? AI技术的发展使得视频创作门槛降低,用户从内容消费者转变为生产者、消费者和拥有者的三位一体,视频数据量飞速增长。 siyushenqi.com 2025 年 8 月 13 日 431000 行业动态 如何通过海关数据分析提升外贸营销效果 识别市场需求变化 优化产品定价策略 精准定位目标客户 监测竞争对手动态 提升供应链管理效率 识别市场需求变化 外贸企业可以通过分析海关数据,识别各国市场需求的变化趋势。这些数据提供了大量关于进出口量、商品类别以及贸易流向的信息,帮助企业发现市场需求的增长点或潜在风险。例如,某些市场可能在某个季度对特定产品的需求急剧上升,企业可以据此调整生产计划或营销策略,抓… siyushenqi.com 2025 年 8 月 13 日 下午9:17 412000 单款休闲游戏营收12亿,一家北京公司IPO梦碎之后的自救? 《宾果消消消》于2014年8月推出,仅用两年就把柠檬微趣抬进了亿元年营收俱乐部,从2015年到2020年上半年,它所贡献的收入每一年都占到公司营收的90%以上 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 478000 中东地区电子商务主要支付趋势 中东和北非地区的电子商务部门是全球增长最快的部门之一,并正在推动该地区采用支付技术的浪潮。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 494000 发表回复 请登录后评论...登录后才能评论 提交