推理越多,幻觉越重?多模态推理模型的「幻觉悖论」 siyushenqi.com • 2025 年 8 月 13 日 上午11:29 • 行业动态 • 阅读 394 随着推理链条的加长,模型的视觉感知能力却明显下滑,逐渐依赖语言先验进行“脑补”,生成内容越来越容易脱离图像本身,甚至出现凭空捏造的幻觉现象。 摘要 研究人员通过引入推理长度控制机制与可解释性注意力可视化方法发现,随着推理链的延长,模型对图像内容的关注显著下降,而对语言提示的依赖不断增强,凸显出语言主导下的视觉偏离趋势。具体来说,R1类推理模型在生成过程中显著减少了对视觉token的关注,取而代之的是将大量注意力分配给指令token与语言上下文,且这种“注意力迁移”随着推理链条的延展而逐层加剧,导致模型即使面对明确依赖图像的问题,也往往“凭语言猜”,最终生成与图像严重脱节的幻觉答案。 研究团队对比了三种不同的推理长度控制策略在多个基准测试中的表现,首次系统揭示了推理链条的长度与模型表现之间呈现出非单调的“倒U型”关系。在以推理为主的任务中,模型准确率先随推理链延长而提升,但当链条过长后反而回落;而在以感知为主的任务中,随着推理长度的增加,幻觉率则持续上升。这表明合理控制推理长度是提升模型稳健性与感知–推理平衡能力的关键。 为解决多模态模型中推理增强与幻觉放大的两难局面,研究团队提出了全新的评估指标RH-AUC(Reasoning-Hallucination Area Under Curve),并构建了配套的诊断性基准集RH-Bench。RH-AUC从整体视角出发,衡量模型在不同推理深度下“思考力”与“看清力”的动态平衡水平,通过在RH-Bench数据集中统计模型在不同推理长度下的reasoning accuracy与hallucination risk,然后计算两者构成曲线下的面积,从而填补了评估维度上的空白。 实验结果揭示出三个关键趋势:一是更大规模模型更具稳健性,7B模型在不同思考深度下展现出更平滑的RH-AUC曲线,并在峰值处取得更高分数,说明其具备更强的推理–感知整合能力;二是RL-only训练范式优于SFT+RL,纯RL训练的模型平均RH-AUC高于混合范式,尤其在长推理链条件下差距显著,表明RL-only更倾向于自适应生成高质量的推理路径,而SFT+RL更容易陷入冗余模仿,从而干扰感知判断;三是数据“类型”比规模更重要,引入少量具备领域感知特征的样本更有助于引导模型在“看图”与“思考”之间实现平衡。 在多模态大模型的飞速发展中,R1 系列多模态推理模型凭借显式的长链推理机制,在复杂任务中屡屡突破传统「快思考」范式的性能瓶颈。 然而,研究发现,随着推理链条的加长,这类模型的视觉感知能力却呈现出明显下滑的趋势,逐渐转而依赖语言先验进行「脑补」,生成内容也越来越容易脱离图像本身,甚至出现凭空捏造的幻觉现象。 这一「推理增强—感知削弱」的悖论,凸显了当前多模态推理模型在推理能力与感知准确性之间面临的平衡挑战。 为进一步验证这一现象,来自加州大学圣克鲁兹分校、圣塔芭芭拉分校和斯坦福大学的研究团队开展了系统性分析。 通过引入推理长度控制机制与可解释性注意力可视化方法,研究者发现:随着推理链的延长,模型对图像内容的关注显著下降,而对语言提示的依赖不断增强,凸显出语言主导下的视觉偏离趋势。 论文链接:https://arxiv.org/pdf/2505.21523 项目链接:https://mlrm-halu.github.io 代码链接:https://github.com/MLRM-Halu/MLRM-Halu 在此基础上,团队提出了全新的评估指标RH-AUC,并构建了配套的诊断性基准集RH-Bench,首次系统量化了多模态推理模型在推理能力与视觉感知稳定性之间的平衡表现。 该工具不仅提升了模型幻觉风险的可测性,也为未来多模态系统的稳健性评估与改进提供了重要参考。 推理增强带来的视觉幻觉放大效应 在当前多模态大模型的演进中,R1 类推理模型因引入显式的长链语言推理过程(Reasoning Chain),在复杂任务上展现出强大的表达能力。 然而,研究人员系统性观察到一个被广泛忽视的现象:随着推理链长度的加深,模型在感知任务中的视觉对齐能力显著下降,幻觉风险随之放大。 这一趋势在多组实证对比中被清晰观察到。 例如,在图 (b) 中,研究人员对比了多个 7B 规模的多模态模型在推理与感知两类任务中的表现:尽管 R1-OneVision-7B 等模型在推理准确率上具备一定优势,但其在感知任务中的准确率却降至最低,显著低于同规模的非推理模型(如Qwen2.5-VL-7B)。 这表明推理链的加深并非「无代价」的增强,而是以牺牲图像感知能力为代价,放大了幻觉。 具体来说,当模型在图文任务中逐步延展其语言链条时,原本应支撑答案的图像证据信号却被悄然边缘化。 以典型视觉问答任务为例,在推理模型中生成的冗长输出往往并未真正参考图像内容,而是依赖语言常识「脑补」出一个听上去合理、但图像中并不存在的答案。这种现象在多个感知评测基准(如MMVP、MMHAL)中反复出现。 如图所示,在多个视觉感知任务的综合评估中,R1类模型普遍低于同规模的Base模型,尤其在需要细致图像对齐能力的MMHAL和MMVP上,差距更为显著。 这进一步印证了:推理链的增强不仅没有提升感知质量,反而加剧了模型「脱图而答」的幻觉倾向。 综上,推理链的增强并非无代价,「更聪明」的推理模型在感知类任务上反而可能「看得更少」。 越「聪明」越容易出错? 为了深入理解多模态推理模型为何更容易产生幻觉,研究团队对模型内部的注意力分布进行了系统分析,揭示出一种结构性机制:推理增强并非免费午餐,它以牺牲视觉关注为代价换取语言推理能力的提升。 具体来说,相较于非推理模型,R1类推理模型在生成过程中显著减少了对视觉token的关注,取而代之的是将大量注意力分配给指令token与语言上下文(图a)。 更为关键的是,这种「注意力迁移」并非固定偏差,而是随着推理链条的延展而逐层加剧——越往后层,模型越倾向于忽略图像输入,而完全依赖语言信号进行推理。 如图 (b) 所示,在视觉聚焦任务中,非推理模型(Qwen2.5-VL)在多层均展现出对图中关键区域(如奶酪)的稳定关注;而R1模型(R1-OneVision)在同样问题下,其注意力热图呈现出明显的视觉退化,深层几乎完全失焦。 这种结构性偏移使得模型即使面对明确依赖图像的问题,也往往「凭语言猜」,最终生成与图像严重脱节的幻觉答案。 不仅如此,研究发现这一现象在模型进入「过度思考」(Overthinking)阶段时表现得尤为明显。 随着推理链的延长,模型对视觉token的关注持续减弱,而对指令等语言token的注意力则显著增强,导致生成过程越来越依赖语言线索而非图像内容。 推理链「长度悖论」:思考越多,幻觉越大? 模型推理链条的长短,真的越长越好吗?研究团队对比了三种不同的推理长度控制策略在多个基准测试中(Token Budget Forcing、Test-Time Scaling与Latent State Steering),首次系统揭示了一个关键现象:推理链条的长度与模型表现之间,呈现出非单调的「倒U型」关系。 如图所示,在以推理为主的任务中(左两图),模型准确率先随推理链延长而提升,但当链条过长后反而回落,说明「过度思考」并不一定带来更强的reasoning能力。 而在以感知为主的任务中(右两图),随着推理长度的增加,幻觉率则持续上升,表明冗余语言生成会系统性干扰视觉对齐。 这一趋势强调:合理控制推理长度,是提升模型稳健性与感知–推理平衡能力的关键。 RH-AUC等指标的引入,也为这一非线性关系提供了更具解释力的定量刻画。 RH-AUC:推理与幻觉的动态权衡评估 面对多模态模型中推理增强与幻觉放大的两难局面,研究团队提出了一项全新评估指标:RH-AUC(Reasoning-Hallucination Area Under Curve)。 不同于传统指标只在单一推理长度上评估准确率或幻觉率,RH-AUC从整体视角出发,衡量模型在不同推理深度下「思考力」与「看清力」的动态平衡水平。 具体做法是:在新构建的RH-Bench数据集中(包含1000个跨感知与推理的样本),分别统计模型在不同推理长度下的reasoning accuracy与hallucination risk,然后计算两者构成曲线下的面积。 RH-AUC越高,说明模型在推理增强的同时,视觉对齐能力保持得越好——既能「想得深」,也能「看得清」。 实验结果揭示出三个关键趋势: 1. 更大规模模型更具稳健性:如图 (a) 所示,7B 模型在不同思考深度下展现出更平滑的 RH-AUC 曲线,并在峰值处取得更高分数,说明其具备更强的推理–感知整合能力。 2. RL-only 训练范式优于SFT+RL:如图 (b) 所示,在不同训练策略下,纯RL训练的模型平均 RH-AUC 均高于混合范式,尤其在长推理链条件下差距显著(0.57vs0.50)。 这表明RL-only更倾向于自适应生成高质量的推理路径,而SFT+RL更容易陷入冗余模仿,从而干扰感知判断。 3. 数据「类型」比规模更重要:实验发现,与其盲目扩展训练集规模,不如引入少量具备领域感知特征的样本(如数学推理或图像感知任务),更有助于引导模型在「看图」与「思考」之间实现平衡。 RH-AUC不仅填补了评估维度上的空白,也为未来多模态模型的训练目标提供了更明确的参考方向:推理不是越多越好,保持在「看见图像」与「想通问题」之间的张力,才是更优范式。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32267.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI眼镜“小米时刻”下的「期待」与「担忧」 上一篇 2025 年 8 月 13 日 上午11:29 上海AI独角兽,连放大招 下一篇 2025 年 8 月 13 日 上午11:29 相关推荐 行业动态 开工大吉,2024游戏春节档榜单回顾 关键词:固化。 siyushenqi.com 2025 年 8 月 18 日 446000 中国应用出海年终总结:2021年增长?吸金?风险?政策?看这篇就对了 魔幻2020年马上就要结束,在过去的一年里我们一起经历了新冠疫情的全球蔓延 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 523000 行业动态 AI Agent的任务,是让我们每天最多工作四个小时 玩意儿能让我们每天只工作四个小时么? siyushenqi.com 2025 年 8 月 13 日 468000 行业动态 2.13亿!九鼎投资拿下南京机器人企业 九鼎2.13亿元现金控股南京神源生,溢价50%且无对赌,意在切入具身智能核心零部件赛道,打造第二增长曲线。 siyushenqi.com 2025 年 8 月 14 日 447000 行业动态 27万个“裸奔”,神话破了? AI工具OpenClaw(“龙虾”)全球爆火,但27万实例暴露公网,安全风险频发,专家警告:权限过高易致数据泄露与恶意攻击。 siyushenqi.com 2026 年 3 月 18 日 255000 摆脱桎梏,国产游戏对美日文化的重新解构 武汉的独立游戏公司“铃空游戏(NEKCOM)”新制作的一款名为《昭和米国物语》的游戏,该游戏将上世纪80、90年代的日本和美国文化进行融合吗,打造出前所未有的架空世界观。从这款游戏的背景设定开始,就已经显现出了它离谱的画风。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 469000 行业动态 心言集团 海外业务负责人 Marco 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! 心言集团 海外业务负责人 Marco 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! siyushenqi.com 2025 年 10 月 17 日 391000 又一中国元素产品爆红海外!满满的童年回忆 中国玩具出海企业如何借助跨境电商,玩转千亿市场? siyushenqi.com 2025 年 8 月 12 日 • 行业动态 462000 一下子涌现5款,这条少有人敢做的赛道被盯上了? 在SLG内卷出新高度的这条路上,左转是玩法融合,右转是题材创新。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 432000 行业动态 冰川、神州泰岳发布24年业绩预告,新游储备将成25年出海主力? 有这些信息需要知道。 siyushenqi.com 2025 年 8 月 17 日 434000 拥有上亿买家的拉美市场将成为下一个电商宝地? 如若问起近年来最有潜力的电商市场在哪里,你得到的答案或许是拉丁美洲。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 435000 8个0的宣发预算,这款二次元的广告太凶了! 今天,国服iOS免费榜的榜首位置易主了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 491000 行业动态 撤销“ST”获批,世纪华通11月12日“摘帽” 2025年11月10日深交所批复同意,*ST华通明日停牌1天,12日起复牌并恢复简称“世纪华通”,涨跌幅放宽至10%。 siyushenqi.com 2025 年 11 月 11 日 481000 行业动态 新作风靡海内外,这个IP还是那么“上头” 能玩到自己喜欢的IP的游戏内容,就很满足了。 siyushenqi.com 2025 年 8 月 18 日 457000 行业动态 《崩铁》单日流水创新高,《雀魂》收入暴涨255%——8月出海Top30 Sensor Tower商店情报平台最新数据显示,2023年8月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2025 年 8 月 19 日 490000 出海丰收年,日本市场超美国成中国出海第一大市场 在本期榜单上,《荒野行动》《奇迹之剑》分别是出海日本、韩国的游戏中收入第一名。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 512000 行业动态 两千万玩家追捧“虚拟生娃”“虚拟养崽”,传统玩法+新需求的社交产品为何受欢迎? 游戏和社交的结合总能带来新惊喜。 siyushenqi.com 2025 年 8 月 17 日 441000 行业动态 从单一任务处理到智能体驱动的端到端工作流架构 随着企业运作复杂性的增加,传统的单一任务处理方式逐渐无法满足现代工作流需求。智能体驱动的端到端工作流架构通过智能体的协同与自动化,提升了工作效率,降低人工干预成本,并能够灵活适应多变的业务需求。这种新型架构通过跨系统的协作与调度,实现... siyushenqi.com 2026 年 1 月 24 日 342000 行业动态 《崩铁》移动端全球收入突破5亿美元 中国市场营收的占比最高 siyushenqi.com 2025 年 8 月 19 日 476000 飞鱼研发、朝夕光年代理,他们用这个10年的IP做了一款放置卡牌 十年,国内一款挺过“十年之痒”并且如今还保持着高频率更新的游戏屈指可数,更何况它还是一个从页游起家的游戏——《神仙道》。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 557000 行业动态 国产机器人黑马首次登场,打螺丝堪比擎天柱 历时5个月,一款性能比肩擎天柱的人形机器人黑马诞生了!外观更类人,作业更智能,而且全栈自主研发,堪称是科技感和人文感完美融合。 siyushenqi.com 2025 年 8 月 13 日 372000 报告:2020年移动游戏收入预计超1000亿美元,战斗通行证变现效果还不明朗 近日,App Annie发布了2020年上半年全球市场游戏报告。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 465000 网易想做下一个射击爆款! 近日,网易的FPS新作《Hyper Front》(曾经代号为《Project M》,如今中文译名“超前战区”)在海外一些地区悄悄开启了测试。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 455000 行业动态 tap4fun藏了很久的休闲SLG,交给了冰川发海外 近日,冰川网络发布公告表示拟与成都时间赛跑科技有限公司签署《海外独家代理协议》,将独家代理旗下游戏《Tiny War》的海外发行。 siyushenqi.com 2025 年 8 月 18 日 423000 行业动态 京东“再”出海,决定做自己 京东拟以22亿欧元收购欧洲消费电子龙头CECONOMY 51%以上股权,刷新中国电商欧洲并购规模纪录。 siyushenqi.com 2025 年 8 月 26 日 474000 体育、赛车游戏品类分析报告:日本市场最赚钱 UGC产品增速最快 近日,数据公司GameRefinery发布的海外体育类游戏分析报告。作为合作媒体,罗斯基对报告内容进行了整理。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 547000 曾做到亿级月流水 这家来自成都的小团队再上演逆袭神话 买量和宣传力度都不高,但是能打 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 466000 行业动态 突然!又一亚马逊大卖申请破产 亚马逊知名健身器材大卖BowFlex申请破产。 siyushenqi.com 2025 年 8 月 6 日 432000 下一个爆火题材?这款韩国新晋国民级游戏找到了微创新的破局方向 上了贼船,你就别想跑了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 432000 独立站月营收超百万!小米生态链企业重启IPO 纯米科技重启IPO,重点发力出海业务 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 479000 发表回复 请登录后评论...登录后才能评论 提交