DeepSeek 三重门:小天才们,军团平推,和哲学式思想 siyushenqi.com • 2025 年 8 月 13 日 下午9:44 • 行业动态 • 阅读 367 DeepSeek的创新模式可以总结为“小天才的规模化 + 华为式的军团平推 + 原创(哲学式)思想”。这种模式颠覆了传统对创新的认知,融合了年轻创新者的活力和规模化协同创新的优势。 摘要 DeepSeek聚集了一批年轻且极具创造力的“小天才”,他们通过原创研究和对现有技术的深度优化,推动了大模型训练等领域的突破。这些年轻人不受传统思维的束缚,能够快速找到最优解,并将其规模化发展。 DeepSeek的创新不仅仅是单点突破,而是从底层硬件到上层算法的全方位、协同式创新。这种模式类似于华为的“军团式”协同创新,通过高度整合的系统设计和优化,实现了复杂大系统的整体推进。 DeepSeek在技术研究中展现了对基础问题的深刻思考,类似于哲学式的探索。这种思考方式有助于构建全新的系统结构,推动颠覆式创新。虽然目前DeepSeek尚未完全展现出这种原创思想,但已经显露出其潜力。 DeepSeek的创新模式和实践为全球创新提供了新的范例。如果这种模式能够被更多组织借鉴和推广,可能会催生更多具有颠覆性的创新成果,推动人工智能乃至整个科技领域的发展。 作为相关背景从业者(北美PhD,前 Meta AI,目前AI创业),DeepSeek 带给我的震撼是巨大的。整个春节的大部分时间,我都在捧着他们的每一篇论文,一边拍大腿一边感叹:为什么这么牛X? 冷静下来思考,发现 DeepSeek 同时颠覆了中国人和美国人对创新的认识。我想这背后一定存在一种深层次的结构性能力,一种新范式,是梁文锋和团队有意或者无意间塑造的。 而这,可能才是 DeepSeek 给世界最大的启示: DeepSeek的创新三重门: 小天才的规模化 + 华为式的军团平推 + 原创(哲学式)思想 小天才们的胜利 读 DeepSeek 的论文们(Math, V2, V3, R1, Janus),第一感觉是什么呢?一个接一个的原创研究工作,像雨点一样噼里啪啦打在你的脸上。 大模型训练是一个相当复杂的软硬一体的工程,而 DeepSeek 几乎重新设计了绝大部分关键组件:MLA,GRPO,DeepSeekMoE,DualPipe,FP8混合精度,R1-Zero,MTP 等等。范围之广,密度之大,非常震撼。 从学术视角看,这些创新中很多单拿出来,都达到顶会最佳论文的水平。所以这第一重门,我们从一张图说起,DeepSeek 的小天才们。 这张图很多人看过,但调研之后我发现还有很多人不在其中。其中有许多都拥有国际竞赛背景(吴作凡,任之洲,周雨杨,罗煜翔等),好多甚至是实习或者刚开始读博(DS-Math的作者邵智宏/Peiyi Wang,Zihan Wang等)。对,就是这群年轻人,创造了刚才提到的一系列技术。 小天才式的创新,更有名的例子来自于美国:GPT 的最早提出者 Alec Radford,思维链 CoT 的提出者 Jason Wei,Sora 的主力贡献者 Bill Peebles,都是初入职场,甚至没有博士训练的年轻人。 我们把这些人称之为 “小天才们”,因为他们不仅有天才般的 learn 的能力,更重要的是,他们没有 unlearn 的负担。 DeepSeek 中小天才式的创新 如果给"小天才式的创新"一个定义,那就是:给定约束,寻找最优解的能力。 我们来举例 DeepSeek 的三个核心算法模块: MLA:传统 Attention 内存占用太大,怎么办?改造 Attention 模块,通过低秩压缩,让 KV Cache 的效率达到最优。 DeepSeekMoE:传统 MoE 专家不够精细,激活参数大,怎么办?改造 MoE,通过增加共享专家和细粒度专家,大幅提升了 MoE 中的专家学习的效果。 GRPO:传统 PPO 需要训练两个模型,效率低,怎么办?通过去掉 Value Model,引入 Group-Relative 作为 baseline,大大提升了训练效率。 抛开专业术语,用人话来理解背后的模式是:一个非常优秀的工程师,遇到问题会尝试不同的技术选型,选一个最好的方案。而小天才会说:在座的都不够好,为什么不重写一个?然后写出了行业最佳方案。 这样的例子,在 DeepSeek 的文章里非常多,而每一个背后,都站着一个小天才。 小天才的规模化 相信个人,尤其是年轻人的创造力,在硅谷的文化中非常常见。或许我自己的经历可以佐证:我毕业后加入 Meta,半年后向主管提出想做一个全新的内容理解引擎。一个月后,10人左右的虚拟团队就成立了。 我想梁文锋应该从 OpenAI 的经验中参考了很多,他在暗涌的采访中,多次提到类似的观点: 他自己说过,这样的小天才式的创新,在硅谷每天都在发生。但这不能抹杀 DeepSeek 出现的意义,因为他不仅证明了中国能孕育硅谷型的创新文化,甚至还可以进一步规模化这种模式。 毕竟,我们有着全世界最多的小天才们(笑)。 想象一下,这样的文化,扩散到更多的创新型公司,成为主流,会是怎样的一种盛况? 这是创新的第一重门。 华为式的军团平推 如果说,DeepSeek 只是复制了硅谷的小天才模式,为什么会让那些发明这个模式的 OpenAI 们,如此紧张?这就要提到第二个关键要素。 当你深度阅读完 DeepSeek 的论文,尤其是 V3,一种新的感受会慢慢浮现:这是一个从底层硬件到上层算法的复杂大系统,以优雅的顶层设计环环相扣,以大破大立的方式平推完成。 这就是创新的第二重门:军团式的协同创新。而这,恰恰就是中国擅长的模式,也是我借用华为之名的原因。硅谷教父 Peter Thiel,对这种创新有过一个深刻的表述。他认为一个真正的垄断式创新,需要构建 Complex, Vertically Integrated System,许多不同层面的创新必须同时发生,并以一种高度协同的方式组合在一起。他认为 Elon Musk 成功的根本,就来自于对这种协同复杂系统的追求。而 Elon Musk,也被认为某些方面是最接近中国企业的(不仅是卷,笑)。 DeepSeek 是如何平推创新的? 在第一重门,我们拿着放大镜,看 DeepSeek 在三个算法上的极致优化。但这些单点优化,也容易引入超越算法范畴的问题。 所以让我们切换视角,从更全局的视角,来重新理解 DeepSeek 的创新结构,第一条线是模型的迭代节奏(这里忽略了很多支线) : 2023年6月,DeepSeek 成立 2024年2月,发表 DeepSeek-Math,提出 GRPO 2024年5月,推出 V2,提出 MLA 和 DeepSeek-MoE 2024年11月,推出 V3,提出了 MTP 和一整套软硬一体优化方案等 2025年1月,推出 R1,提出 R1-Zero 震撼吧?从 DeepSeek-Math 的第一次推出,到最后走到 R1,不到12个月。但速度甚至都不是我们讨论的重点。 而是另一条纵向的主线:他几乎从基础设施搭建,到底层硬件优化,到模型算法创新,一整个自己重做了一套。更关键的是,他们是高度协同优化,逢山开路,遇水搭桥,充满了整体的逻辑性。我来尽最大努力,试着梳理一下: 注:不用纠结技术术语,因为我写的时候也似懂非懂。 (0) 首先构建自己的集群(萤火),为了更高效的并行训练,那就自研 HAI LLM训练框架 (1) 发现传统 Attention 的 KV Cache 开销太大,那就用 low-rank 来重新设计 MLA,缓存量下降 90% 以上 (2) 发现传统 MoE 缺乏共享专家和细粒度专家,涌现能力不够,那就设计自己的 DeepSeekMoE 解决专家精细度和共享知识问题 (3) 发现引入的细粒度专家在训练中负载均衡有挑战,那就自研专家偏好的路由算法,保证每个专家都训练充分 (4) 发现 MoE 在管线并行(大模型不同层次分卡训练)中很多通信带宽和计算带宽无法对齐,造成浪费,那自己设计 DualPipe 算法解决 (5) 为了确保上面的带宽完全对齐,直接写 PTX 这种底层语言来绕过 CUDA 限制,来精准控制 GPU SM 的数量和 Warp 数量做通信处理 (6) 发现 NVLink 和 IB 的带宽有三倍差距,那就确保 MoE 算法设计中只路由四个节点的专家,每个节点内平均访问三个专家来对齐带宽 (7) 发现 Tensor Parallelism 通信开销大,通过在 MLA 上重计算等方法释放显存来直接跳过 TP 步骤 (8) 为了进一步提升训练效率,开发了精细化的 FP8 混合精度(细粒度量化),在保证训练效果的情况下大幅减少计算和通信 (9) 为了更进一步提升训练表现,在训练过程中引入 MTP 让每次训练密度更高 (10) 为了提高 V3 的推理能力,那就拿 R1 来 distill V3 的推理 (11) 为了在强化学习中少训练一个 Value Model,开发出 GRPO (12) 为了解决小推理模型 Self-play 推理学习的不足,就把大模型学出来的推理通过 Distill 注入到小模型里 (13) .... more 然后高潮来了:在介绍完方案的最后,V3 专门开辟章节,提出了一系列对硬件厂商设计下一代芯片的方案,包含大量的对通信,量化算子的设想。 于是我恍然大悟,在 DeepSeek 的脑海中,是把创造 AGI 这件事情,看成一个大蓝图的,而这个蓝图是没有边界的。算法?通信?数据?硬件?都在我需要解决的范畴内,而且高度协同的平推下去。我甚至觉得,如果给他们足够的精力和钱,他们会做自己的硬件,造自己的电网。 这是真正创新者的样子,就像乔布斯说过: 真正在乎软件的人,应该去制造属于自己的硬件 背后的中国元素 和小天才模式不同,这种模式恰恰是硅谷文化中相对忽视的,马斯克除外。 2019年我回国,发现字节和快手的推荐能力比 Meta 强,当时很意外。然后我开始了解到华为,到今天,以华为为代表的中国式组织,在国际竞争中释放了巨大的能量,电动车、内容分发、智能硬件甚至电商。 只不过,今天是 AGI 这个会改变文明走向的领域,DeepSeek 以如此迅猛的姿态登场,再一次刷新了全世界的认知。 这就是创新的第二重门。 可以看到在 DeepSeek,当我们把创新的第一重门(小天才式)和第二重门(体系协同式)融合在一起,Boom!威力相当大。 原创(哲学性)思想 那是否还可以继续往下挖掘?是否存在一种更底层的创新元素?一个类似 o1 或者 R1 这样的颠覆式创新系统,构建于什么基础之上? 答案是一个原创的、全新的系统结构。那这个原创的结构,又从何而来? 回答这个,我想引用一段我很喜欢的 Ilya 的话(视频前2分钟): 我喜欢思考非常基本的问题...几乎可以将这些问题视为哲学问题。例如,什么是学习?什么是经验?什么是思考?... 我认为技术就像是一种自然力量,但看起来我们可以通过设计算法,来做有用的事情,同时解答这些(哲学问题)。这就像是一种 应用哲学。 没错,第三重门的答案,是一种 近乎哲学式的,原创的思想。 如果我们把视角拉远,看一下过去十年 AI 的创新源头。分别是:Google 2017年的 Transformer,DeepMind 2017年的 AlphaZero,以及 OpenAI 2018年的自回归模型 GPT。 但是这不仅仅是三个模型啊,内核是三个哲学性思想,关于“学习”的本质: (1) 用什么结构来理解世界万物,和他们的内在关系(Transformer) (2) 如何通过不断的预测,把世界万物的复杂性压缩到直觉中(GPT) (3) 怎么基于直觉构建深度思考,完成对世界的进一步抽象(Zero) 我们今天看到的 OpenAI o1,或者 DeepSeek R1,都是这三个哲学性思想,组合后的产物。从思想出发,先搭建了一个基础的系统结构,然后通过第一重门和第二重门的创新,把这个结构极致的打磨和再组合,显化成今天改变世界的产品。 哲学性思想的创造为何如此美妙?因为他们并不是为了找到一个优秀的解法,而是为了问出更本质的问题。 DeepSeek 跨越第三重门了吗? 我想梁文锋可能也会说,今天的 DeepSeek,还没有展现出这种原创(哲学性)的创新。但我却在读他们的文字中,瞥见了藏在背后的希望。 第一个例子,是关于 MLA 的产生,来源于一个研究者 “总结了 Attention 架构的演进规律”: 第二个例子,是 DeepSeek-Math 文章中很大篇幅,分享了对所有后训练过程的统一框架的认识。尽管有类似的思想存在过,但你似乎可以感受到那些背后无边界的热烈讨论。 第三个例子,则是他们在 R1 中展开的 R1-Zero 的探索,这个大胆的尝试,希望跳过所有的后训练步骤,让大模型在直觉模型的基础上,完全不依赖标注数据,自我演进成一个有思维能力的模型。R1-Zero 没有用到最终的 R1产品 中,但论文中却浓墨重彩的探讨他的启发意义。对,以及那个 Aha Moment,原文是这样写的:“这不仅仅是模型的 Aha,也是观察模型的研究者的 Aha!” 所以,你感受到了吗?在克制的技术语言背后,藏着一种无法掩盖的兴奋和热爱。这是无边界的好奇心的味道,这是迫不及待想和世界分享的味道。 是原创的、哲学式的思想,呼之欲出的味道。 最后一块拼图 我不知道梁文锋是不是中国的 Ilya Sutskever,但我坚信一个跨过创新三重门的组织,需要一个思想性的领袖。说到这里,今天 OpenAI 最缺的,不就是这个吗?(写第一篇时的心情重现) 谁都无法预测未来。但也许哪一天,在 DeepSeek 的新论文中,会出现 Transformer 和 AlphaZero 级别的全新思想。 更大胆一点,如果我们在 DeepSeek 的启发下,产生了许多全新时代的创新型组织,在各自的领域跨过创新的第一重门和第二重门,并进一步产生了一批颠覆式的思考者,和原创的、哲学性的思想。 再大胆一点,如果这些思想和创新成果,以透明和开放的方式分享给全世界。这样的世界,你会更愿意参与吗? 这是 DeepSeek,会真正让历史记住的东西。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32847.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 OpenAI新功能 “深度研究” 登场,人类终极考试的表现超过DeepSeek R1 上一篇 2025 年 8 月 13 日 下午9:44 阿里Qwen2.5-Max超DeepSeek V3!又一国产大模型海外出圈 下一篇 2025 年 8 月 13 日 下午9:44 相关推荐 行业动态 跨境短视频推广实战指南:平台、形式与转化优化方法 选择合适的短视频平台 多样化内容形式 优化用户转化路径 分析数据反馈 关注文化差异 选择合适的短视频平台 跨境短视频推广的第一步是选择合适的平台。在全球范围内,短视频平台层出不穷,每个平台的用户群体、文化偏好和互动方式都有所不同。要想取得推广效果,必须了解各平台的特点,确保内容能够触及到目标受众。 例如,TikTok(抖音)在欧美市场的受欢迎程度不言而喻,其… siyushenqi.com 2025 年 8 月 13 日 下午9:44 367000 行业动态 拉美市场潜力大爆发,7000万新电商消费者正在涌入 增长尤为明显的拉美市场,对电商巨头们有着致命吸引力。 siyushenqi.com 2025 年 8 月 12 日 418000 行业动态 沙特中小企业为留住回头客,纷纷转向电商 沙特的小型企业在适应2020年艰难时期时非常灵活。26%的沙特企业家增加了线上营销活动以吸引更多客户。 siyushenqi.com 2025 年 8 月 13 日 451000 抱着手机失眠 这款日本助眠应用解决了失眠者的入睡烦恼 如果睡觉前不想放下手机,不如做一个可以玩着入眠的游戏 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 503000 行业动态 2024年9月成功出海的中国手游 - 《崩坏:星穹铁道》问鼎增长榜,《Whiteout Survival》蝉联收入冠军 2024年9月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2025 年 8 月 17 日 540000 行业动态 40万用户撬动360万美元收入,去中东做语聊,中国开发者卷出新高度 蓝海变红海,阿拉伯人还愿意为出海社交应用付费吗? siyushenqi.com 2025 年 8 月 17 日 414000 行业动态 Temu在东南亚:减缓的扩张步伐 Temu在进军东南亚时,首选菲律宾作为第一站,看中了其高电商增长率和庞大的年轻人口。 siyushenqi.com 2025 年 8 月 6 日 430000 行业动态 AI 时代的架构师,齐聚深圳 AI架构师,将成为新一轮科技和产业变革的引路人 siyushenqi.com 2025 年 8 月 14 日 503000 注册Gmail新账号详细说明 注册Gmail新账号详细说明。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 427000 [重磅发布]社交媒体应用的演变:直播,社交媒体的新前沿 在过去十年中,新的社交媒体应用进入市场,现有的中坚力量不断添加新功能,用户能够保持联系并维持活跃度,整体格局发生显著变化:从文本和聊天功能发展到照片分享、视频分享,并最终演变为直播。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 453000 中清龙图还没等到下一款《刀塔传奇》 2014年,一款叫《刀塔传奇》的卡牌游戏横空出世,从长期霸榜的腾讯「天天」「全民」系列中杀出一条血路,这一年它有87天登顶App Store畅销榜,212天位居畅销榜前十,在当时被誉为移动游戏行业「现象级」爆款产品。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 491000 行业动态 昆仑万维全新SkyReels正式上线 11月4日,昆仑万维旗下AI视频创作平台SkyReels正式焕新上线! siyushenqi.com 2025 年 11 月 5 日 490000 崩铁:这次五一档我定了,大家应该没意见吧 春天的尾声将近,夏天的热浪正一波波袭来。对于游戏圈也一样,行业正从复苏逐渐走向繁荣。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 511000 LinkedIn会员该不该买?买哪个?一文带你搞懂! 在外贸人使用LinkedIn(领英)的时候,常常会被一些功能限制住。而作为B2B外贸开发客户必不可少的一个工具,又割舍不下。本文将为大家介绍LinkedIn的付费账号是否需要买,大家可以根据自己的实际情况酌情考虑。 LinkedIn个人账号分为免费账号和付费账号(premium),付费账号的用户名在旁边有一个“in”的小图标。 LinkedIn的付费账号又分… siyushenqi.com 2025 年 8 月 13 日 下午9:44 • 行业动态 367000 斯坦福的「虚拟小镇」开源了:25个AI智能体照进《西部世界》 Smallville 虚拟小镇正式开源了 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 531000 行业动态 中国音数协孙寿山:夯实根基,技术驱动,构建多元共生新生态 2025年度中国电竞产业年会大会于12月4日在北京市石景山区顺利举办,中国音像与数字出版协会理事长孙寿山出席大会并致辞。 siyushenqi.com 2025 年 12 月 8 日 376000 行业动态 钱烧了,人跑了……曾经风光的Kimi,一年后沦为了二线? 冰火对照,智谱、MiniMax 已过港交所聆讯冲刺“AI 大模型第一股”,月之暗面却因周活跌至 450 万、行业排名从第二滑到第七而被集体看衰。 siyushenqi.com 2025 年 12 月 31 日 406000 蹭MR风口?唱吧要开始卖VR照相机了 XR未来更有可能成就千亿级市值的新平台 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 398000 SHEIN成为跨境出海影响力第一平台,撼动亚马逊 立足国内供应链,不断放大品牌效应,才能逃避不是为这家平台打工,就是为另外一家平台打工的命运。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 426000 AirLink|Airwallex空中云汇出席私域神器全球互联网产业CEO大会 对话泛娱乐出海创造者 AirLink|Airwallex空中云汇出席私域神器全球互联网产业CEO大会 对话泛娱乐出海创造者 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 482000 行业动态 印度亚马逊Prime用户量破百万 据竺道资本了解,亚马逊在印度的Prime会员数量已超100万。 siyushenqi.com 2025 年 8 月 13 日 470000 行业动态 找腾讯做《最终幻想14》手游版:SE想要新玩家想疯了? 2024年对SE而言是关键的一年,公司发布的《最终幻想16》和《最终幻想7:重生》等旗舰产品未达预期销量,导致高清游戏业务出现重大亏损。新任社长桐生隆司上任后,迅速采取了一系列措施,包括整合开发资源和缩短3A大作制作周期。 siyushenqi.com 2025 年 8 月 17 日 410000 行业动态 OpenAI重组落地 OpenAI 完成重组,非营利“OpenAI 基金会”持股 26%,微软降至 27%(价值≈1350 亿美元),员工与投资者合计 47%,微软稀释前 32.5% 股份换取更长周期权益。 siyushenqi.com 2025 年 10 月 30 日 357000 700亿魔幻新生意:直播唯快不破少人知,库存甩到东南亚受欢迎 织里童装产业带正在酝酿一场渠道变革。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 458000 行业动态 OpenClaw与同类AI助手的性能对比报告 在选择AI助手时,除了功能,数据安全与使用便捷性也是关键因素。OpenClaw凭借其本地优先和自主执行特点,在市场中脱颖而出。本报告对其技术架构、功能特性进行详细分析,并与同类产品如ChatGPT、Claude进行对比,旨在帮助用户更... siyushenqi.com 2026 年 3 月 10 日 424000 快手海外Zynn登顶美榜后被Google下架 近期新增被封杀出海App盘点 日前,快手旗下出海App Zynn被Google下架引发广泛关注。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 417000 行业动态 前海像样HuntMobi、重庆麦芽传媒有限公司、LuckyShort 确认加入 PAGC 2025丨第五届全球产品与增长展会 短剧对接会 前海像样HuntMobi、重庆麦芽传媒有限公司、LuckyShort 确认加入 PAGC 2025丨第五届全球产品与增长展会 短剧对接会 siyushenqi.com 2025 年 8 月 17 日 594000 行业动态 抖音和拼多多干起来了 低价这碗饭,看来抖音是吃定了。 siyushenqi.com 2025 年 8 月 6 日 421000 海外业务增长161.7%!出海能成为泡泡玛特的自救解药吗? 被称为“中国潮玩第一股”的泡泡玛特,最近似乎有些“力不从心”。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 423000 行业动态 2025年第三季度移动应用(非游戏)出海排行榜:短剧爆发收割暑期红利,AI与新兴市场成增长新引擎 2025年Q3 的榜单格局体现了中国非游戏应用出海进入了“内容创新+技术赋能”的深度竞争阶段。 siyushenqi.com 2025 年 10 月 30 日 479000 发表回复 请登录后评论...登录后才能评论 提交