谷歌推出全新模型，将Transformer与NAR相结合 siyushenqi.com • 2025 年 8 月 13 日 下午11:34 • 行业动态 • 阅读 420 Transformer架构的出现极大推动了大模型的技术创新，诞生出了ChatGPT、Coplit、讯飞星火、文心一言等一系列生成式AI产品。 Transformer架构的出现极大推动了大模型的技术创新，诞生出了ChatGPT、Coplit、讯飞星火、文心一言等一系列生成式AI产品。 虽然Transformer在自然语言理解任务上表现很好,但在算法推理方面有严重的缺陷。例如，当面临超出训练数据分布的输入时,其泛化能力会急剧下降。这主要是因为它们的自回归性质和掩蔽注意力机制,不符合算法输出的逻辑顺序。 而神经算法推理(NAR) 在结构化输入上表现好，能够处理各种算法任务，并且在面对训练集之外的更大输入时仍能保持完美的泛化能力。因此，谷歌DeepMind的研究人员将Transformer与NAR相结合推出了——TransNAR。 NAR是一种专门处理图结构数据的神经网络，其算法的计算步骤被表示为图的节点和边，而节点之间的信息通过边进行传递和更新。这种巧妙设计使得NAR能够自然地表达算法的逻辑流程，包括条件判断、循环迭代等编程结构。 在TransNAR架构中，研究人员并没有简单地将Transformer和NAR串联或并联，而是通过一种称为跨注意力的机制进行深度融合。 在这种机制下，Transformer的每一层都能够接收来自NAR的节点和边的嵌入信息，这些信息通过查询、键和值的形式进行交互，从而实现信息的流动和整合。 TransNAR的输入主要包括文本形式的算法问题描述，以及相应的图表示两大块：首先文本输入被送入Transformer层，通过标准的Transformer操作，如自注意力和前馈网络，来生成文本的表示。 同时，图表示被送入NAR层，通过图神经网络的操作，如最大池化或消息传递，来生成图的节点和边的表示。 当Transformer和NAR各自准备好了自己的表示后，跨注意力机制开始发挥作用。Transformer的查询与NAR的键进行匹配，通过softmax函数进行归一化，然后与NAR的值进行加权求和，最终生成Transformer的输出。这一过程在模型的每一层都会重复迭代，直到最终生成模型的输出。 多层级训练策略也是TransNAR成功的关键之一。在预训练阶段，NAR被独立训练，以执行CLRS-30中的算法。CLRS-30是一个包含多种算法任务的基准，这些算法任务被转换为图表示形式，以便NAR能够处理。 通过这种方式，帮助NAR能够学习到各种算法的内在逻辑和计算步骤，在面对不同算法任务时，能够展现出强大的鲁棒性和泛化能力。 在微调阶段，TransNAR开始接受包含文本描述和图表示的双重输入。此时，Transformer部分开始发挥作用，利用预训练的NAR提供的节点嵌入信息，通过跨注意力机制来调节自身的标记嵌入。 此外，在微调的时候Transformer的参数是可训练的，而NAR的参数保持冻结。这将帮助Transformer在保持NAR鲁棒性的同时，学习如何将自然语言描述转换为算法步骤，以确保模型能够稳定地学习和收敛。 研究人员通过CLRS-Text基准测试，对TransNAR综合测试。结果显示， TransNAR模型在多种算法任务上显著优于基线Transformer。 尤其是在分布外的泛化能力上，TransNAR展现出了超过20%的优化改进。这表明TransNAR能够有效地处理训练数据之外的更大或更复杂的问题实例。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/33930.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 AI商业化进程的快与慢 上一篇 2025 年 8 月 13 日 下午11:34 快手可灵AI网页端上线，68万人排队等内测，“文生图+图生视频”效果惊艳 下一篇 2025 年 8 月 13 日 下午11:34 相关推荐 行业动态 Shein将在伦敦提交500亿英镑IPO招股说明书 快时尚电商巨头Shein正准备向英国金融行为监管局递交招股说明书，以获得批准，准备在伦敦上市，其估值可能在500亿英镑(约合人民币4617亿元)。 siyushenqi.com 2025 年 8 月 6 日 430000 行业动态 一周要闻NO.104丨Vision Pro中国首销；6月国产游戏版号下发104个；亚马逊或上线低价商店 一起看看这周有哪些出海圈值得关注的大事记吧！ siyushenqi.com 2025 年 8 月 14 日 420000 Twitter“抢购”TikTok 据《华尔街日报》美国东部时间8月8日晚间报道，推特正与字节跳动进行收购TikTok的初步谈判。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 485000 行业动态 李飞飞团队提出ReKep，让机器人具备空间智能，还能整合GPT-4o 视觉与机器人学习的深度融合。 siyushenqi.com 2025 年 8 月 13 日 427000 ATT实施近四个月，我们来看看相关数据如何 2021年4月26日，苹果公布数个月的ATT隐私新政开始正式实施，IDFA随之淡出历史舞台。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 430000 行业动态 AI时代的智能体，离人人可用还有多远？ 2024年AI的发展并没有像预期的那样狂奔，而是进入了更加注重应用和普及的阶段。 siyushenqi.com 2025 年 8 月 13 日 421000 行业动态 莉莉丝新游制作人：四年过去，我们想做点别人抄不了的 莉莉丝这次可真「贪心」。 siyushenqi.com 2025 年 8 月 18 日 406000 行业动态 查攻略、出主意、有记忆，永雏塔菲在线聊天，AI也能做游戏搭子了 由前 B 站副总裁刘斌新创立的「心影随形」打造，定位“AI 游戏伙伴”，已在中国、日本、北美等地测试，用户破百万；公司入选 2024 The Information“Top Asia Startups”。 siyushenqi.com 2025 年 8 月 28 日 526000 点点互动、Funplus都在偷师，Minigame的精髓不只在广告 老实说Minigame早就不算什么新鲜事。但《X-HERO》运用Minigame的套路却是特别的。游戏强调休闲玩法的领域不局限于买量素材，而是延展到整体包装。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 433000 行业动态 短剧付费，一场抖音快手和小程序的“不对称战争” 规模带不来“乱杀”，但胜利的也不是“草台班子”。 siyushenqi.com 2025 年 8 月 18 日 406000 行业动态 私域神器每周精选 No.28｜盲盒App寻品牌合作 多款精品游戏寻发行 本期精选的合作类型涵盖多款精品手游资源合作与流量需求，盲盒App寻品牌合作。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 444000 行业动态 RCS群发服务商选择指南及合作注意事项 RCS群发服务相比传统短信提供了更丰富的互动体验，提升了用户参与度和信息传递效率。在选择RCS群发服务商时，需要关注技术能力、平台稳定性等关键因素，并考虑如何优化合作关系以增强营销效果。通过了解这些关键要素，企业能够做出更明智的决策，... siyushenqi.com 2026 年 1 月 25 日 421000 老美迷上“交换空间”！装潢人生《Decor Life》登上多国模拟游戏榜TOP100 《Decor Life》实现你的装修梦 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 479000 靠美术，如何将横屏地牢探险的游戏装进竖屏的手机里，《黑猫来自天空》是这么做的 《黑猫来自天空》开启了首轮测试，相比较此前游戏在TapTap与好游快爆上极佳的口碑，这次游戏的测试服风评则很有争议。测试服的评分也只有6.1分那么多，与玩家开测前巨大的期待值有较大落差。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 490000 行业动态 亚马逊多站点上线首次扫描退款功能，大大简化退货流程 积极迎合消费者需求，亚马逊扩大首次扫描退款功能适用范围。 siyushenqi.com 2025 年 8 月 12 日 453000 拳头产品1.8亿下载，藏着4款新游，这家公司的下一代产品有多能打？ 在做出全球爆款之后，江娱互动的下一代SLG产品会是什么样子的？除此之外，他们又看准了哪些品类的市场空间？是否能够复刻SLG赛道的成功呢？ siyushenqi.com 2025 年 8 月 24 日 • 行业动态 451000 行业动态 《冒险岛：枫之传说》上线35天收入突破5500万美元 跻身前二MMORPG siyushenqi.com 2025 年 8 月 19 日 476000 独立游戏梦想破灭后，这家深圳公司在放置类跑出黑马 放置游戏品类好像就从来不缺黑马。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 443000 行业动态 月收入增长220%，边赚钱边语聊，土耳其人有自己的社交“新宠” 中东做语聊，还有市场机会？ siyushenqi.com 2025 年 8 月 17 日 484000 网易投资，朝夕光年发行，这款卡牌冲上了69个国家免费Top 10 Ben Brode作为最早构建《炉石传说》原型的核心成员，其新作不仅在IP价值的发挥运用、对局的娱乐性上完成了自我超越，还颠覆了《炉石传说》当年所确立的CCG养成与付费模式。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 434000 活动回顾 | 这场汇集行业精英的物流沙龙太赞了！ 后疫情时代，数字化浪潮席卷全球，伴随跨境贸易的高速发展，供应链拥堵也在不断加剧，跨境电商卖家及物流企业经历着一轮又一轮的过山车行情，缺箱、延误、涨价…… siyushenqi.com 2025 年 8 月 3 日 • 行业动态 391000 莉莉丝在北京的这个50人团队，为他们打下了日韩市场！ 据中国音数协游戏工委（GPC）发布的《2020年中国游戏产业报告》显示，去年中国出海日韩地区的收入占比为23.91%和8.81%. siyushenqi.com 2025 年 8 月 25 日 • 行业动态 463000 行业动态 快手短剧，和爱优腾踏入同一条河流 由于“钱景不足”，快手短剧的吸引力正在下滑。 siyushenqi.com 2025 年 8 月 18 日 302000 行业动态 StardustTV 增长负责人 吴恒 确认担任 PAGC 2025丨第五届全球产品与增长展会 短剧出海增长峰会圆桌嘉宾 StardustTV 增长负责人 吴恒 确认担任 PAGC 2025丨第五届全球产品与增长展会 短剧出海增长峰会圆桌嘉宾 siyushenqi.com 2025 年 8 月 17 日 464000 行业动态 韩国音频社交大厂推出全球短剧平台Vigloo，日韩市场短剧热潮要来了？ 短剧出海日韩的机会进一步扩大。 siyushenqi.com 2025 年 8 月 18 日 448000 行业动态 “全球互联网企业营销交流晚宴·泰国曼谷站”收官！50+全球ADX、网盟企业高管共话出海营销新图景！ 12月2日，私域神器携手PhotonPay、AI Droplet联合举办的《Bangkok Traffic Connect-全球互联网企业营销交流晚宴》圆满落幕！ siyushenqi.com 2025 年 12 月 4 日 431000 行业动态 影响2024年的十大科技应用趋势｜2万字全文 一个充满韧性和重塑的全新时代即将揭开序幕。 siyushenqi.com 2025 年 8 月 3 日 437000 行业动态 韩国网石游戏以21.9亿美元收购博乐科技，后者专注博彩手游开发 韩国巨头游戏公司再次出手投资。 siyushenqi.com 2025 年 8 月 25 日 560000 行业动态 月下载增长991.55%，让用户创作互动小说+拿奖励，AI社交还能这样玩？ 在AI社交应用里当小说家是什么体验？ siyushenqi.com 2025 年 9 月 11 日 567000 行业动态 WhatsApp耐发号技术升级与应用趋势 WhatsApp耐发号技术升级 安全性提升 用户体验优化 隐私保护增强 高频消息发送支持 WhatsApp耐发号技术升级 WhatsApp作为全球最流行的即时通讯应用之一，其技术不断在更新迭代，以提高用户的使用体验和安全性。特别是耐发号技术的提升，成为了近期技术发展的一个重要方向。耐发号技术的升级意味着WhatsApp在处理大量消息和用户请求时，更加稳定、快… siyushenqi.com 2025 年 8 月 13 日 下午11:34 420000 发表回复 请登录后评论...登录后才能评论 提交
