拯救Transformer推理能力!DeepMind新研究TransNAR:给模型嵌入「算法推理大脑」 siyushenqi.com • 2025 年 8 月 13 日 下午11:27 • 行业动态 • 阅读 458 DeepMind最近发表的一篇论文提出用混合架构的方法解决Transformer模型的推理缺陷。将Transformer的NLU技能与基于GNN的神经算法推理器(NAR)的强大算法推理能力相结合,可以实现更加泛化、稳健、准确的LLM推理。 如今的NLP领域,已然是Transformer架构的天下。 从Bert到GPT,再到Llama、Claude,LLM模型使用Transformer已经是再正常不过的事情。 Transformer的「大一统」局面正是由于其简单、高效的架构,以及在理解自然语言方面无与伦比的泛化能力。 然而,随着研究的逐渐深入,Transformer的一个致命缺陷也逐渐暴露出来——无法胜任算法推理任务,尤其是不能进行精确、稳健的推理。 这严重限制了模型在数学、代码等领域下游任务的应用,近年来对Transformer的各种调优、修改似乎也收效甚微。 于是DeepMind的研究人员想到了混合架构——将Transformers的语言理解能力与基于图神经网络(GNN)的神经算法推理器(NAR)的稳健性结合起来,提升其算法推理能力。 他们最近在arxiv上的一篇论文就提出了这个名为TransNAR的架构,但遗憾的是,目前还没有公布源代码。 论文地址:https://arxiv.org/abs/2406.09308 神经算法推理(NAR)由本文作者之一Petar Veleckovic在2021年与人合著的一篇论文中提出,并被接收为Patterns期刊的opinion paper。 论文地址:https://arxiv.org/abs/2105.02761 NAR被称为「构建能执行算法的神经网络的艺术」。作者提出,算法与深度学习的本质不同,但如果神经网络能够更好地模仿算法,它甚至可能具备算法的强泛化性。 更进一步,神经网络若能表示出算法中连续空间内的元素,就会使已知算法更接近现实世界的问题,提出的解决方案可能超过人类科学家。 如上图所示,NAR的整体想法是训练出一个高维隐空间中的处理器网络P(processor network),旨在不断逼近算法的运行结果A(x)。 但由于算法的输入和输出一般是图、树、矩阵等抽象、结构化的形式,这与深度学习模型高维、嘈杂且多变的输入很不兼容,因此还需要训练编码器f和解码器g,将抽象形式转换为自然形式。 NAR发布后,有多项研究证实了它有同时执行多种算法的能力,也能部署在各种下游任务中。更重要的是,它的泛化能力似乎远远优于Transformer架构。 原则上,NAR可以扩展到比训练数据的分布大几个数量级的系统上,有时这个数量级能达到1.8万倍。 在使用适当的归纳偏差(inductive biases)时,即使输入比训练集大6倍,NAR也能在高度复杂的算法任务中保持完美的泛化能力。 找到了Transformer和NAR这两种十分强大且各有所长的架构,下面最关键的问题就是如何进行相应的调整和修改,使这两个似乎完全不相容的模型真正实现沟通和Embedding交换。 TransNAR:用预训练NAR增强Transformer 如何实现NAR+Transformer的有效沟通?作者从多模态LLM中找到了灵感。 多模态LLM可以同时接收文本和图像两种模态的输入,TransNAR也是如此。一边是算法运行需要的图结构,一边是描述问题的自然语言。 作者的设想是,将预训练的NAR作为Transformer中编码的调制器(modulator),二者通过embedding沟通,同时借鉴VLM和Flamingo模型中所用的交叉注意算子,融合不同模态的信息。 TransNAR接受双重输入,包括文本形式的算法问题规范(T个token)及其对应的图表征(N个节点),并输出问题的文本答案。其中输入的图表征遵循算法推理基准CLRS-30的格式。 我们可以假设,编码完成后,文本输入存储在T ∈ R^(T×k)中,图输入存储在G ∈ R^(N×l)中。 TransNAR的前向传播过程如下: 首先,我们通过设置T^(0) = T和G^(0) = G来正确初始化输入。 接下来,为了计算第(t+1)步的表征,文本(token)表征被输入到Transformer的当前层: 其中,Qt,Kt ∈ Rk×d_k,Vt ∈ Rk×k分别是键、查询和值矩阵的变换,FFN是一个前馈神经网络。 以类似的方式,图表征被输入到NAR层,例如实现一个标准的max-MPNN: 其中,ψ,ϕ : Rk × Rk → Rk分别是可学习的消息函数和更新函数,max是逐元素最大值聚合。 需要注意的是,方程2仅简要提供了节点之间的成对交互——实际上,这里的NAR是一个Triplet-GMPNN,它还包含三元组交互和一个门控机制。 此外,还需注意,NAR的可学习部分没有时间步索引——每一步都应用相同的共享函数。这很好地契合了图算法计算的迭代和重复性质。 一旦两个流都准备好它们的表征Θt+1和Gt+1,图中的节点嵌入将对Transformer的token嵌入进行条件设置,从而产生Transformer流中TransNAR块的最终结果: 其中,Qt×,Kt× ∈ Rk×d_k, Vtx ∈ Rk×k分别是交叉注意力的键、查询和值变换。在结束这一层之前,对Gt+1不进行额外的变换。 这个过程会一直重复,直到最后的第Nl层,在这一层中,从TN_l读取最终的文本输出。 最终输出通过最后一层生成的预测头转换为token logits,并通过标准的下一个token预测来监督训练。 在开始TransNAR微调之前,首先预训练NAR,使其能够稳健地执行CLRS-30覆盖的三十个算法。这种方法已知可以在图空间中实现高达4倍输入规模的分布外泛化。 在微调过程中,NAR的参数通常保持冻结状态,因为额外的梯度会削弱模型的原有稳健性特性。同样的原因,图嵌入不会执行交叉注意力。 LLM本身可以在大规模数据集上进行预训练,以建立其一般语言先验,即使在开始时随机初始化LM,也能获得相同的实验结果。 实验设置 在实验中,作者展示了TransNAR为大语言模型架构中的分布外推理带来的显著优势。 Transformer架构和初始化 论文使用Chinchilla家族的一个decoder-only架构、6层的Transformer模型,首先在MassiveText上进行了预训练,参数量有70M,上下文大小为2048。 为了探究初始化设置的影响,作者设计了两个变体进行消融实验。 第一个变体中,Transformer权重用预训练的结果初始化,模拟微调场景;第二个变体则是完全随机的初始化。这两个模型分别被标记为「预训练」和「未训练」。 随机位置编码 之前DeepMind的一篇论文论证过,随机位置编码可以增强Transformer的长度泛化与推理稳健性。 论文地址:https://arxiv.org/abs/2305.16843 作者也提到,随机位置嵌入确实在基线模型和TransNAR上都带来了显著增益,因此本文中的所有实验也都使用随机位置嵌入。 预训练NAR 论文使用CLRS-30基准中的问题预训练了一个多任务、基于MPNN的NAR,输入问题规模最多达16个。 由于CLRS-30的标准图结构表达,这样训练出来的NAR有很强的分布外(OOD)泛化能力,有时在4倍大小的图上仍保持竞争力,这种丰富的知识表达正是文本模型可资利用的。 结合节点和边缘的跨注意力贡献 在上述的算法描述中,我们将NAR模型的图输入限于N个节点,但作者注意到了之前的研究曾尝试过,同时对图的节点和边生成隐变量表达,也许可以添加有用的互补信息。 于是实验中引入图中边的特征E(t) ∈ RN×N×k,并再次应用公式3让Θ(t)对E(t)进行交叉注意力。 作者也尝试其他方法,希望将E(t)和G(t)结合起来,比如拼接后加线性层组合、向量求和、2层MLP,或者用Gram-Schmidt过程使二者的贡献正交化,但这些都没有给原始方法带来提升。 数据集 训练数据使用CLRS-Text基准,即CLRS-30基准的文本版本,以确定性的方式直接从基于图的CLRS-30中派生,因此这两个数据集传达的是完全相同的信息。 表1展示了该数据集的几个样本,以及它们的输入大小和token数量。 由于语言模型上下文长度的限制,实验选择用规模为4、8、12的问题训练,并在规模为110、12、14的问题上评估。 值得注意的是,与当前的评估环境相比,CLRS-Text是对LM最具挑战性的长程推理任务之一——相比小学数学,复杂度显著提高。 CLRS-Text的挑战性主要源于它允许显式控制分布外泛化。然而,每个问题都有清晰的多项式时间解法,这意味当今典型LLM的参数量应该足以解决这些问题。 该数据集每种算法的每种输入规模包含一万个样本,总共240万个数据点,其中70%用于训练、30%用于验证。 训练细节 实验将batch大小设置为256训练了7个epoch,并使用Adam优化器,学习率为10-4。 如前所述,在所有Chinchilla Transformer的旋转位置编码(RoPE)之上应用随机位置编码,最大长度为8192,且训练期间保持NAR冻结。 评估指标 作者提出,合适的评估指标应该反映模型在特定样本上失败的原因,且需要度量型输出与正确答案的接近程度。因此,使用精确字符串匹配来计算模型准确性是绝对不可行的。 论文选择的性能指标包括以下三个: 1. 形状分数:一个二元指标,用于判断输出是否具有正确的形状。例如,在排序任务中,输出应与输入有完全相同的元素数量。或者,如果输出是一个矩阵,我们需要确保其形状与输入和任务一致。 2. 解析分数:一个二元指标,用于判断输出是否不含任何非法字符。例如,在对数字列表进行排序的任务中,输出不应包含任何字母。 3. CLRS分数:输出中与真实答案匹配的元素百分比,也常用于CLRS-30测试。形状分数为0时,CLRS分数也会自动置零。 这种多方面的指标设计能够捕捉到LLM在文本上进行推理任务的各种失败模式。 比如在某个问题规模上过度专门化训练(导致输出的形状不正确)、无法处理看不见的数字组合(导致解析错误),由于推理错误造成的答案不一致则由CLRS分数反映。 结果 实验结果显示,TransNAR整体上显著优于Transformer模型,在动态规划、几何、图、贪心算法、排序、字符串等任务上的OOD推理能力都有大幅提升。 并且在大多数单个算法上,无论是在分布内还是分布外都表现更佳。 特别值得注意的是,这种方法不仅增强了Transformer原有的OOD泛化能力,还激发了一些模型先前完全不具备的能力。 比如Graham扫描(graham_scan)、最长公子串长度(lcs_length)、强连通分量(scc)这些经典问题中,基线模型得分为零或接近零,但TransNAR却实现了突破。 分析形状分数可以进一步解释,为什么TransNAR表现如此出色。 首先,回顾一下,如果形状不匹配,CLRS得分必然为零。 从形状得分来看,将Transformer的输出建立在NAR嵌入基础上显著提高了答案中形状正确的比例——这表明TransNAR缓解了一种特定的LLM故障模式。 此外,通过对比「预训练」和「未训练」两种初始化方式的分数,可以看到模型较好的稳定性和可用性。在随机初始化时,也能训练到与微调相当的水准。 然而,在一些算法中,TransNAR仍未能超越基线,且在分布内和分布外都是如此。 这些算法包括二分搜索、寻找最大子数组、最小值和快速选择等,都涉及在输入列表中按照索引搜索特定元素。 这暗示了TransNAR的一种故障模式:模型无法泛化到训练数据中未见过的新索引边界。因此,使用索引提示或许是一条有前景的改进途径。 另一种可能的解释是,NAR最终计算出的隐藏状态难以在交叉注意力层以可泛化的方式被解码。如果原因在此,解决途径可以是增加交叉注意力的容量,或者采用渐进式解码。 此外,TransNAR在架构上有一个本质的局限性,就是必需一个能得出ground truth的模拟器或者数据标签,用于将输入的文本转换为图结构,再作为模型输入。 但是作者强调,TransNAR的概念对于未来研究是有借鉴意义的。可以考虑将这种混合架构的想法移植到单模态LLM,或者将TransNAR训练后获得的知识提炼出来注入到普通的Transformer中。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33849.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI研究的主要推动力会是什么?ChatGPT团队研究科学家:算力成本下降 上一篇 2025 年 8 月 13 日 下午11:27 大模型激战之后,AI创业者扎堆儿猛冲AI agent,PMF找到了? 下一篇 2025 年 8 月 13 日 下午11:27 相关推荐 行业动态 工具、社交、游戏、AI,一场长期主义的出海,不可忽视的赤子城 十二年出海,历经大洗牌。 siyushenqi.com 2025 年 11 月 25 日 444000 免费榜登顶,畅销榜十一,聊聊心动这款把「冷门」玩法做到极致的游戏 本周三,心动的《火炬之光:无限》国服上线了,也是该游戏第三个赛季的开始。从目前的数据来看,产品算是有了个还不错的开局:国区AppStore免费榜第一、畅销榜第11名,目前曲线也较为稳定。海外地区也受新赛季的影响,数据有明显拉升。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 476000 亚马逊前台搜索页面大调整,新品卖家直呼过瘾 规则频繁变动,卖家还需做好应对准备。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 416000 行业动态 TikTok矩阵在跨境电商中的成功应用案例 TikTok矩阵在跨境电商中的成功应用案例概述 多样化内容和精准营销 全球品牌曝光和市场扩展 用户互动与品牌忠诚度提升 实际案例分析 TikTok矩阵在跨境电商中的成功应用案例概述 TikTok,作为全球领先的短视频平台,通过其矩阵式内容推广策略,成功帮助众多跨境电商品牌提升了市场曝光度,吸引了广泛的全球用户。通过精准的用户画像分析和多样化的内容创作,Tik… siyushenqi.com 2025 年 8 月 13 日 下午11:27 458000 行业动态 Meta要砍掉元宇宙部门三成预算 Meta内部已讨论把2026年元宇宙部门预算削减最多30%,重点落在Quest VR与Horizon Worlds,1月可能启动裁员。 siyushenqi.com 2025 年 12 月 8 日 308000 行业动态 消息称微软公司考虑收购TikTok英国业务 据报道,除了已在讨论中的美国、加拿大、澳大利亚和新西兰业务以外,微软公司有兴趣购买TikTok在英国的业务。 siyushenqi.com 2025 年 8 月 26 日 459000 行业动态 111%半死老游突然蹿红,半年爬升至畅销榜第17 111%「合作塔防」上线半年籍籍无名,近月靠调宣最高冲到韩iOS畅销第17,稳定TOP50。 siyushenqi.com 2025 年 12 月 23 日 432000 行业动态 “字节刚从OpenAI挖了个人,年薪140万美元” 而国内创业公司,融500万美金就敢说要做大模型。 siyushenqi.com 2025 年 8 月 14 日 548000 专访雷霆CEO翟健:用3亿注册用户的IP,再造一个长线爆款 《奥比岛:梦想国度》的发行将是雷霆2022年的重要一战。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 474000 全球打工人,正在涌向中东 薪资翻倍,房价不到北京一半。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 488000 行业动态 AI四小龙集体断臂求生 曾经被称为“AI四小龙”的商汤科技、旷视科技、云从科技、依图科技在经历了快速发展后,如今面临连连亏损的困境。 siyushenqi.com 2025 年 8 月 13 日 417000 年赚83亿,这家工业品界的阿里即将赴美上市 中国MRO采购平台震坤行申请在美国IPO,计划募资2亿美元。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 486000 行业动态 分化加速、AI冲击,潮水回落后2026跨境电商何去何从? 2025年全球电商增速降至8.8%,面临关税、流量成本、消费收缩三重压力。Temu、SHEIN等逆势高增长,行业从铺货转向品牌化,物流与AI成核心基建。 siyushenqi.com 2026 年 2 月 10 日 443000 行业动态 LangChain《2024人工智能全景报告出炉》:OpenAI依旧是龙头 开源模型采用率上升 报告通过分析LangSmith产品,展示了人们构建大型语言模型应用方式的变化。 siyushenqi.com 2025 年 8 月 13 日 490000 行业动态 再也不浪费广告费第二弹,设置Facebook广告预算那些事儿 上次Facebook代理YinoLink易诺为大家讲解了Facebook广告竞价策略(点击回顾),今天我们来讲一讲Facebook广告预算是什么,该如何进行设置。 siyushenqi.com 2025 年 8 月 3 日 516000 从《二分之一》的测试成品与选择,去看中小规模二游的困境 视觉小说+战棋游戏融合玩法的定位。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 443000 这个跑酷IP变身RPG,结果拿下韩国iOS畅销榜冠军! Devsisters制作的跑跑姜饼人系列虽然在中国市场名气较小,但在韩国可谓是国民级的游戏 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 558000 最新估值狂减360亿美元,SHEIN也“跌”下神坛 疫情期间风光无两的巨型独角兽,最近也跑不动了。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 445000 AI元年,大家不招原画了吗? 找了快两个月的原画工作后,屡屡碰壁的巫白白离开了游戏行业,回老家的职校教游戏美术设计。美术专业毕业的巫白白,先后在上海两家知名新锐厂商担任场景原画,应当说履历还是漂亮的。巫白白感叹,今年原画或者说整个美术岗就业环境与刚入行时“不可同日而语”,与他竞争同一个岗位的数位候选人,基本都有五年以上经验。而只有两年经验的巫白白,屡次倒在面试环节。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 495000 首次测试,网易又拿出了一款「没有竞品」的神秘新作 当“经典武侠IP”遇上“开放世界”,两者能碰撞出什么火花? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 494000 行业动态 我靠YouTube搞来欧美客户,这5个血泪教训值10万学费 干了8年外贸,从把YouTube当娱乐APP到靠它每月稳定获取20+欧美高质量询盘,我踩遍了所有坑:宣传片没人看、关键词堆砌被惩罚、引流钩子放错…这篇文章分享我用真金白银换来的5个核心教训和可复制的视频模板,帮你把YouTube变成客户金矿。 siyushenqi.com 2026 年 3 月 6 日 335000 行业动态 阿里开源R1-Omni,多模态情感识别 R1-Omni是由阿里巴巴通义实验室开源的多模态情感识别模型,首次将强化学习与可验证奖励(RLVR)应用于多模态大模型,显著提升了模型在情感识别任务中的推理能力、准确性和泛化能力。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 谷歌和“阅后即焚”应用Snap拟对ShareChat投资2亿美元 继谷歌之后,“阅后即焚”应用Snap Inc也打算投资印度社交媒体内容初创公司ShareChat,以获取少数股权。 siyushenqi.com 2025 年 8 月 25 日 499000 行业动态 字节跳动即梦考虑接入 DeepSeek,移动端新负责人曹大鹏到岗 即梦是剪映旗下的AI创作平台,支持图片生成、智能画布和视频生成等功能,于2024年5月推出。它由张楠负责,张楠曾担任抖音集团CEO,自2024年初负责剪映业务。即梦被字节视为打造AI时代“抖音”的重要路径,尽管短期内不急于激进推进,但其在字节内部的优先级一直很高。 siyushenqi.com 2025 年 8 月 13 日 502000 爆火情侣竟不是真人!新版Midjourney效果炸裂,网友:太可怕了 “人类画师别活了” siyushenqi.com 2025 年 8 月 14 日 • 行业动态 511000 行业动态 【異世界奇妙生活】中日登顶,益世界玩转异世界营销 中国产蘑菇主角正在登顶全球手游市场! siyushenqi.com 2025 年 8 月 18 日 435000 行业动态 OPPO收了一家AI创业企业! 波形智能已确认被OPPO收购,但未透露更多细节。 siyushenqi.com 2025 年 8 月 13 日 430000 对于“萌文化”输出 这家低调的国内厂商掌握了精髓 离开萝萝山,走向梦幻城。 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 434000 行业动态 沙特自建站平台Salla再接入新支付服务,先买后付成为电商必需品? 沙特自建站平台Salla再接入新支付服务,先买后付成为电商必需品? siyushenqi.com 2025 年 8 月 13 日 493000 行业动态 国产手游《雀魂》首次登顶日本App Store畅销榜 今天,由悠星发行、猫粮工作室制作的手游《雀魂》在日本市场首次拿下了App Store畅销榜第一位。 siyushenqi.com 2025 年 8 月 24 日 523000 发表回复 请登录后评论...登录后才能评论 提交