梁文锋带队DeepSeek,重置深度神经网络最底层的“定海神针 siyushenqi.com • 2026 年 1 月 7 日 下午2:35 • 行业动态 • 阅读 365 残差结构是深度网络“定海神针”,靠恒等映射保住信号与梯度,让千层网络不崩。 摘要 Hyper-Connections 把单车道残差扩成 n 车道,却因无约束矩阵连乘变成“指数放大器”,训练仍易炸。 mHC 用“双随机矩阵”给混合系数加守恒硬规:行列和=1,保证均值与范数恒定,跨层复合也不失控。 Sinkhorn-Knopp 迭代把任意矩阵实时投影到双随机流形,工程化实现“交警训练营”,开销仅 6.7%。 升级残差拓扑时,真正该继承的不是“加号”,而是恒等映射背后的守恒机制;mHC 为下一代超深模型提供了可落地的稳定基建。 新年第一天,DeepSeek在arXiv放出一篇相当“硬核”的论文:mHC: Manifold-Constrained Hyper-Connections,时间戳是2025 年 12 月 31 日(v1)。 作者列表里,除了三位一作(Zhenda Xie、Yixuan Wei、Huanqi Cao),还出现了神龙见首不见尾的传奇人物 Wenfeng Liang(梁文锋)。 这篇论文要解决的,其实是一个“基础设施级”的老问题:当网络深度与通道层层加码,系统如何不走向崩塌? 01 从残差的“定海神针”说起:为什么 x + F(x) 让深度网络能 work 熟悉神经网络里程碑历史的都知道,残差(Residual / Skip Connection)的发明,是深度神经网络能 work 的关键,从而为深度学习革命打稳了基础。何凯明/张祥雨也因此成名;那篇残差论文的引用数,据说在 AI 历史上是绝对的首屈一指。 这是一项发生在十多年前、深度学习革命刚刚开启时,他们在微软做出的里程碑工作。后来,它成了深度神经网络的标准 practice:用x+f(x) 代替f(x)。这条看似朴素的改动,恰恰是为了保证多达几百、上千层的网络,在不断加深的(函数)转换中不至于“差之毫厘,失之千里”,从结构上兜住训练的稳定性(那条x 的直通路径,本质上就是恒等映射的安全绳)。 我们知道,大模型本质上就是个图灵机:在足够的容量与数据驱动下,它可以规律性地把任何信号输入x 变成任何其他信号输出y,也就是实现某个f(x)。这就是所谓的万能函数近似——老母鸡变鸭的魔术:文生图、机器翻译之类,看上去神奇,背后都是“把x 变成y”的系统性变换。正是在这个意义上,残差网络(ResNet)里x 这条直通连接线,成了大模型的定海神针。 因此,ResNet 的核心不是某个更复杂的卷积,而是那条看似朴素的“直通线”——让每一层学习 F(x),但输出是 y = x + F(x)。原论文把这种 直通车道(shortcut) 设计解释为“identity mapping”,它让信息可以跨层稳定传递。 你可以把它当作在深度网络这个“层层加工的工厂”里,额外修了一条不加工作业、直达下一站的传送带。于是深度从几十层堆到几百层、上千层时,也不至于在复合变换里越走越偏,最终训练崩盘。 ResNet 把每一层从“直接学一个函数”改成“学一个增量”。这就好比雕塑大师把人物雕塑工作,转变为“去除多余的部分”。一块大理石,多余的“残差”去除殆尽,人物自然就成型了。 这件事的关键在于它把恒等映射(identity mapping)塞进了网络:哪怕F 学得一塌糊涂,x这条直通路径也能把信号和梯度比较完整地送到更深处,从而让几百上千层不至于“越算越跑偏”。mHC 论文在引言里也把这点讲得很直白:残差的稳定性,来自恒等映射跨层累积时的结构性保障。 作为研究背景,一句话总结残差的精神内核: 让网络“可以很深”,靠的不是每层转换多聪明,而是“永远留一条‘不作妖’的直达通路”。 02 单车道不够了:HC 把残差流“扩建成多车道” 传统残差是一条残差流(hidden state 的那条“主干通道”)。但当模型越来越大,研究者会自然产生一个念头: 既然残差流像高速公路的主干,那我能不能把它从 1 条车道扩成 n 条车道,让信息在不同车道之间更自由地交换、混合,表达力更强? 这就是 Hyper-Connections(HC)这类工作的出发点:把残差流的宽度从 C 扩到 n×C,并引入一个可学习的混合矩阵,把“各条车道”的信息在每层重新路由。在 HC 原论文里,核心机制就是这种“复制 n 份 residual path、再在它们之间做连接”的宏观结构。 到这里为止,一切都很美: 路修宽了,车更多了,理论上吞吐更大、信息更丰富。 但问题是:你把高速路扩建成多车道,最怕的不是车多,而是没有交规。 03 HC 为什么会炸:无约束矩阵跨层复合变成“放大器” 残差之所以稳,关键是 identity mapping 这条线天然具备一种“守恒”味道: 你至少能保证有一部分信号,不被层内变换“瞎折腾”(带偏)。但 HC 的混合矩阵完全自由学习、没有任何约束,跨多层之后,实际上是在做一串矩阵连乘。 mHC 论文直说了:HC 的这种无约束设计在大规模训练时会破坏 identity mapping 作为“conservation mechanism(守恒机制)”的角色,导致平均信号强度无法保持,从而出现无界放大或衰减。 更直观地讲这种“放大器效应”就是: ● 如果某几层学到的“残差”在某些方向上“略大于 1”, ● 经过几十层、上百层复合后,增长会呈指数积累, ● 最终就是大家熟悉的两种灾难:信号爆炸 / 梯度爆炸,或者相反:梯度消失。都是模型训练的灾难。 不是 HC 多车道思路不对,而是它把原残差网络自带的这根“定海神针”,拆成了“自由的放大链路”。 04 DeepSeek 的一招:把混合矩阵关进“双随机”的笼子里 mHC 的核心思想可以一句话概括: 你可以修立交桥、修多车道;但负责“指挥交通”的矩阵,必须服从一套严格的守恒规则。他们选择的规则是:把残差约束到所谓 双随机(doubly stochastic / bistochastic)矩阵集合上——元素非负、每一行和每一列都等于 1(归一化)。 这样做带来三层非常“工程友好”的稳定性保证: 凸组合(convex combination)解释 因为行列和为 1,残差等价于对输入特征做“加权混合”,但权重总量守恒,所以整体更像“搅拌”而不是“放大器”。均值守恒 + 范数被严格规整 论文明确说:这种约束让特征均值保持、信号范数被严格 regularize,从而缓解 信号爆炸/消失(vanishing/exploding)。跨层复合仍然稳定(乘法封闭性) 双随机矩阵相乘仍是双随机矩阵(非负性与行列和约束都能传递),因此“多层连乘”不会越乘越野,守恒性可以贯穿整个深度。翻译成咱老百姓的话就是: 每一层的混合矩阵,本质上像是在“若干种换道方案(置换)”之间做概率意义上的加权选择。这就特别像一个“带守恒约束的交通路由系统”:怎么换道都行,但总车流不能凭空变多或变少。另外,mHC 还对前后残差引入非负约束(论文用 sigmoid 形式实现),避免正负系数复合导致的数值抵消行为。 05 把“野矩阵”投影成“双随机矩阵” “利用 Sinkhorn-Knopp 算法将连接矩阵约束在双拟随机矩阵流形上”,这里的核心是这一步: 先让矩阵元素变成严格正数 ■ 然后反复做两件事: 归一化每一行(让行和=1) 归一化每一列(让列和=1) 行列交替迭代,最终收敛到双随机结构。你可以把所谓 Sinkhorn-Knopp 过程想象成一个“交警训练营”: 不管你原来学出来的“交警”矩阵多么放飞自我,进训练营一套队列动作做完,它就必须满足“行列守恒”的硬纪律,才能上岗指挥交通。关于“流形”(manifold)这个术语,可以这样理解: 严格说双随机矩阵集合整体是个凸多胞形(边界有棱角),但在其内部(所有元素严格正)可以视为一个受约束的光滑空间;论文在工程语境里用“manifold”来表达“我们不让参数在整个欧氏空间乱跑,而是限制在一个有几何结构的可行集合里”。 06 它不仅是数学,更是工程:6.7% 的代价换稳定与收益 把残差流扩成 n 倍,直觉上显存与通信都会爆炸。mHC 论文非常明确地把“系统开销”当作同等重要目标:它不仅提出数学约束,也在配套工程上做了 kernel fusion、选择性重计算、以及在 DualPipe 调度里更激进的通信-计算重叠。 最后他们给出的系统级结论是:当n = 4时,mHC只带来约 6.7% 的额外训练时间开销。 这点很关键: 如果只讲“理论上更稳”,我们会问“那是不是贵得用不起?” 而这篇论文显然在回答:“我们把它做成了大训练里可落地的结构升级。” 07 一句话总结:mHC 的创新意义在哪? HC 想把残差从单车道升级成立交桥;mHC 做的,是给立交桥加上守恒型交通规则——用双随机约束恢复 identity mapping 的稳定性,同时把工程开销压到可接受范围。 这也解释了下列对应关系: 残差的多流并行架构:残差流从 C 变成 n×C,让“通道”更多; 连接矩阵受约束:核心是残差不再自由,而是双随机; Sinkhorn-Knopp:实现“投影/归一化”的具体算法; 解决数值不稳定与信号爆炸:把跨层连乘的放大链条关进“守恒笼子” 残差之所以稳,不是因为“加法神奇”,而是因为它隐含了某种守恒结构; 当我们试图把残差升级成更复杂的拓扑时,真正需要被继承的,是这份守恒,而不是加号本身。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/71430.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 18年前的“半成品” 如今依然是国产单机圈的顶流 上一篇 2026 年 1 月 7 日 下午2:35 2026年的游戏业,AI究竟是毒是药? 下一篇 2026 年 1 月 7 日 下午2:36 相关推荐 行业动态 2023年TikTok直播+独立站玩法拆解 随着TikTok美国区的开放,跨境卖家又将迎来一场不可多得的市场机遇。 siyushenqi.com 2025 年 8 月 3 日 461000 行业动态 全球云游戏市场收入将在今年达到5.85亿美元,68%来自西方市场 近日,市场研究机构Newzoo发布了2020年全球云游戏市场报告。 siyushenqi.com 2025 年 8 月 26 日 461000 行业动态 解密:海外运动服装品牌的运营之道 海外服装DTC品牌如何逆势生长 siyushenqi.com 2025 年 8 月 12 日 453000 《元气蛋蛋王》新品游戏找发行 元气蛋蛋王 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 464000 行业动态 俄罗斯电商,又一次爆发 俄乌冲突后,西方制裁导致俄罗斯商品供应链受阻,物价上涨,市场出现万亿级缺口。这意外推动了俄罗斯电商市场的繁荣,2024年电商销售额增长41%,达到9万亿卢布,预计2025年将继续增长约40%。 siyushenqi.com 2025 年 8 月 5 日 456000 刀剑手游成功的背后:恺英的居安思危与步步为营 杀不死我的,只会让我变得更强大。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 491000 【热点追踪】赢得注意力争夺战:九个主要市场的用户如今每天在应用中花费的时间超过 4 小时 我们 2021 年第一季度的最新数据显示,用户在应用中花费的时间比以往任何时候都多 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 484000 行业动态 英伟达收购 Runai,增强生成式AI开发和硬件能力 全球AI领导者英伟达在官网宣布,已与GPU编排软件服务商Run:ai签订收购协议。 siyushenqi.com 2025 年 8 月 13 日 455000 跨境电商,谁主沉浮 八仙过海,各显神通。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 437000 行业动态 谷歌广告投放5个准备工作 谷歌广告投放5个准备工作 siyushenqi.com 2025 年 8 月 3 日 448000 行业动态 购物改视频,小红书视频3.0提速 小红书APP的第二Tab由「购物」替换为「视频」,采用类似抖音的单列信息流形式,这是小红书加强视频内容的重要举措。 siyushenqi.com 2025 年 8 月 17 日 418000 行业动态 G-SALARY吉薪、YCloud 确认入驻PAGC 2025丨第五届全球产品与增长展会! G-SALARY吉薪、YCloud 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 401000 自研暗黑like海外上线,能成为心动的收入担当吗? 心动网络自研的全新ARPG游戏《火炬之光:无限》上线首日便登上多地iOS免费榜TOP10,截至目前还位于15个地区前十。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 491000 社媒曝光46亿次,亚马逊欢迎榜前二,小文具引爆海外大市场 在海外怀旧情怀兴起,文具用品走红TikTok siyushenqi.com 2025 年 8 月 13 日 • 行业动态 478000 行业动态 疯狂对标OpenAI,智谱AI要背水一战 自2024年5月以来,大模型领域价格战愈演愈烈,智谱AI也参与其中,通过降低模型调用价格以吸引用户,但这种策略可能会对其盈利能力造成压力。 siyushenqi.com 2025 年 8 月 13 日 692000 行业动态 冰川网络 孵化中心负责人&副总经理 曾保忠 确认担任 PAGC 2025丨第五届全球产品与增长展会 PAGC丨开幕峰会圆桌嘉宾 冰川网络 孵化中心负责人&副总经理 曾保忠 确认担任 PAGC 2025丨第五届全球产品与增长展会 PAGC丨开幕峰会圆桌嘉宾 siyushenqi.com 2025 年 8 月 17 日 519000 行业动态 加州要亲手扼杀AI创新?硅谷吵翻了天 AI是否应该监管,应该怎样监管?是能避免灾难,还是扼杀创新?围绕着加利福尼亚州议会的一项AI监管法案,硅谷已经为此吵翻了天。 siyushenqi.com 2025 年 8 月 13 日 377000 短视频出海:混战之中,如何布局海外投放运营 在国内市场接近饱和的情况下,海外市场就成了短视频App新的增长点,各大厂商都积极入局,使得短视频出海一时间成为了热门赛道。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 476000 行业动态 Shopee用户转向Lazada?CEO这样回应;最新调查:Shopee仍是印尼人网购的第一选择;国家再设33个跨境电商综试区 Shopee 因一位形象大使代言而陷入舆论风波;Shopee仍是印尼人网购的第一选择;国家再设33个跨境电商综试区 siyushenqi.com 2025 年 8 月 13 日 417000 私域神器周报 No.14丨出海盛宴抢“鲜”看 互联网一周又有哪些大事 7月进程过半,私域神器为大家整理了一周内出海行业中值得关注的新闻。本周,私域神器在多个领域做了行业较为深入的价值研究。此外私域神器还为大家总结了更多出海圈大事件,涉及手游、电商、泛娱乐等方面的重点事件。 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 15 日 • 行业动态 445000 行业动态 xAI收购Hotshot,进军AI视频领域 Hotshot,一家专注于AI视频生成的公司,已被马斯克旗下的xAI全资收购。这标志着xAI正式进军文生视频和AI视频编辑领域。 siyushenqi.com 2025 年 8 月 13 日 411000 播放超千万!国人假发视频走红TikTok 最近几年,佩戴假发逐渐在全球流行起来,并发展成为一种时尚美学。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 514000 网易研究五年的AI技术,应用一次最多能省几十万? 利用AI技术生产美术资源。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 441000 行业动态 《泰坦尼克号》导演卡梅隆,加入生成式AI赛道 全球著名导演詹姆斯·卡梅隆加入了Stability AI的董事会,该公司是开源大模型平台之一。 siyushenqi.com 2025 年 8 月 13 日 428000 Shopee成菲律宾最有价值零售品牌,强劲实力凸显 东南亚已成Shopee不能失守的重要阵地。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 417000 300多亿次观看,TikTok“玄学”带货兴起,小水晶却成爆款大趋势! 神秘的“玄学”背后藏着怎样的商机? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 540000 行业动态 一周要闻NO.120丨拳头《英雄联盟》团队裁员;TikTok美区入驻门槛大调整;中国两元店如何横扫意大利;乙游厂商转做AI女友 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 454000 行业动态 B站陈睿:游戏仍是核心,要做最少的事,但朝行业最好去做 陈睿表示,在接管游戏业务后,会进一步落实“自研精品,全球发行”的战略。 siyushenqi.com 2025 年 8 月 24 日 456000 Paytm游戏运营官:平台涌现、付费增长、电竞火热,印度游戏机遇期来临 新冠疫情以来,整个游戏行业的用户数量增长很快,并且新用户很多。这是个积极信号,因为四到六周的时间足够培养新习惯。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 411000 行业动态 马云留了一手,淘宝神话在海外上演 淘宝海外业务GMV突破200亿美元,实现双位数增长,体量超越TEMU去年全年,与TikTok去年表现相当。 siyushenqi.com 2025 年 8 月 5 日 497000 发表回复 请登录后评论...登录后才能评论 提交