年度最佳AI论文:大语言模型的“智能涌现”根本不存在! siyushenqi.com • 2025 年 8 月 13 日 下午10:55 • 行业动态 • 阅读 477 别慌,大模型还是厉害的。 " 大型语言模型在执行任务时产生的出乎意料的行为、思路或想法被称为涌现。然而,一篇 NeurIPS2023 的获奖论文提出了一个观点,即所谓的涌现能力是由于研究者选择的度量标准而产生的,而不是模型行为在规模扩展中发生了根本变化。文章通过数学方法,构建了一种关于大型语言模型涌现能力的替代解释。同时,文章指出涌现能力在模型的规模扩展时可能会以突然而意外的方式出现,而无法通过简单的线性推断进行预测。这说明涌现能力是由研究者选择的度量标准而创造出来,而不是由模型在特定任务上与规模变化相关的行为所引起的。尽管如此,涌现还是具有一定的研究意义,它提供了研究人员在探索和理解自然语言处理、认知科学和人工智能方面的新颖现象和规律的机会。" 本内容由AI自动生成 关注大模型的人们多少都听说过“涌现”(emergent behavior)。它是指大型语言模型在执行任务时产生的出乎意料的行为、思路或想法。某种程度上来说,涌现可以被理解为人工智能觉醒了自己的想法。 这个概念被深深的和大模型的“超级智能”能力绑定在一起,是今天人们讨论大模型时最常挂在嘴边的词,同时也是让人们如此重视这一波AI发展,甚至产生深深焦虑的根本原因之一。 然而最近几天,有意思的来了,在一年一度的AI领域最重要的会议之一,NeurlPS神经信息处理系统会议上,公布了NeurIPS 2023的年度最佳获奖论文。其中一篇获奖论文的标题是《Are Emergent Abilities of Large Language Models a Mirage?》——“大语言模型中的涌现是海市蜃楼吗?”文章主要是通过数学方法,构建了一种关于大型语言模型涌现能力的替代解释。而文章指出,所谓的涌现能力是由于研究者选择的度量标准而产生的,而不是模型行为在规模扩展中发生了根本变化。 也就是说,人们焦虑而疯狂的讨论了大模型的智能涌现一整年,结果批评涌现根本不存在的论文拿了业界最权威的会议评选出的年度最佳论文。 先有一个无法解释的现象,甚至让你毛骨悚然。然后经过科学家解释,变成了一个非常普通的事情。这集我看过! 这不《走近科学》吗! 如何证明涌现是“幻觉”? 涌现是个又有具体指向,又十分玄幻的概念。 当我们在输入给定任务(例如问答或翻译)的语言数据时,大型语言模型不仅可以“记住”数据,还可以“理解”和“推理”这些数据。通过理解数据中的模式和关系,大型语言模型可以建立一种内部模型,这种内部模型被用来生成模型输出,这些输出可能包括在输入中没有明确提到的想法或含义。这些想法和含义就是模型的涌现行为。 也就是涌现根本来说就是AI研究者们给模型的行为里让人无法解释的那部分,起的一个名字。 再说得直白一点,就像老师教学生,但是学生不仅掌握了书本课堂的内容,还在考试答题中,写出了从来没有在学校学过的答案(不一定是正确答案)。总的来说,大型语言模型的涌现能力是指它能够根据大量语言数据生成出新的、出乎意料的、与任务有关的信息。这种能力是深度学习的关键特征之一,也是大型语言模型在自然语言处理领域中越来越受欢迎的原因之一。 涌现这个概念也是AI界“借来”的。它最初是由诺贝尔奖得主物理学家P.W.安德森在其著作《More Is Different》里提出的。他认为,随着一个系统的复杂性增加,新的性质可能会出现,即使从系统微观细节的精确定量理解都无法预测这些性质。大语言模型的复杂性也是日渐增加的,那么根据这个理论,发生涌现是必然的。 那么,这个概念借的到底对不对呢。 这篇论文就想讨论一下这个问题。它简单来讲分为三步: 第一步,他们在InstructSixAI/GPT-3模型家族上进行了实验,验证了度量标准选择对于声称具有涌现能力的任务的影响。第二步,他们在对BIG-Bench上声称具有涌现能力的任务进行了元分析,并验证了度量标准选择的两个预测。第三步,他们展示了如何选择度量标准,在多个视觉任务和不同的深度网络中产生以前从未见过的表面上具有涌现能力的效果。约等于把大象装进冰箱里。 在论文的论证过程中,最值得注意的是作者使用了多个“度量标准”。 这里就不得不提及涌现的两大特性了,即非线性改变和突然性。非线性改变是指在大型语言模型中出现涌现的能力,而在小型模型中不具备。这表明随着模型规模的扩大,模型性能可能会发生非线性的、不可预测的变化。突然性是指涌现能力在模型的规模扩大时可能会以突然而意外的方式出现,而无法通过简单的线性推断进行预测。 正是由于涌现的特性,从度量上看,大型语言模型在某个规模点上可能会达到一个临界点,超出这个点后,模型的性能在某些任务上会经历突变和显著改进。换句话说,当模型达到足够大的规模时,它可能会展现出一种全新的性能和能力,这种突然和显著的改进通常是以难以预测的方式发生的。这也是为什么研究人员称之为“涌现”。 于是论文设定了一个虚拟场景,假设每标记的交叉熵损失随着模型规模单调递减,并且选择正确标记的概率趋于1。然后,作者说明了根据度量标准的不同,如准确率(Accuracy)或多项选择分数(Multiple Choice Grade)等非线性或不连续的度量标准,可以导致模型的性能在规模变化时出现尖锐和不可预测的变化。而如果使用线性或连续的度量标准,如标记编辑距离(Token Edit Distance)或Brier分数(Brier Score),则会导致模型性能的改进变得平稳、连续和可预测。这就说明了涌现能力是由研究者选择的度量标准而创造出来,而不是由模型家族在特定任务上与规模变化相关的行为所引起的。 有点复杂了。咱还是用《走近科学》来解释吧。这个神奇的节目里面有一集说的是安徽省长丰县一栋年代久远的居民楼里,狗走过去会狂吠不止,但是人走过去一丁点事没有。听起来吓人吧,然后一通调查之后发现,最终原因就是屋子漏电,而人穿着鞋感觉不到。同理,在模型所谓的涌现上,模型不同规模并没有表现出较大变化时,一些度量标准可能却呈现出陡峭的、突然的改变,于是当人们依赖这种度量标准时,在捕捉模型家族的性能时就事实上引入了非线性或不连续性的变化,使得模型的表现在实际上是平稳和可预测的情况下显得尖锐和不可预测。 这个观点强调了度量标准对于模型性能评估的重要性,尤其是在涉及到涌现能力的研究中。选择合适的度量标准可以更准确地反映模型的性能变化,而非线性或不连续的度量标准可能会扭曲实际性能的变化,使其呈现出尖锐和不可预测的特征。因此,研究者选择的度量标准会对结果产生重要影响,需要谨慎选择和解释度量标准,以准确评估模型的性能变化。 仅在BIG-Bench中就有超过220个任务,每个任务约40个度量标准,约10个模型家族,总计约106个任务-度量标准-模型家族三元组。意味着当某一个三元组发生涌现时,放在其他三元组中,就变成了普通的情况,而非涌现。 涌现的必要性 不过还请注意,论文本身只是说明涌现现象可以被数学方法理解为正常现象,并没有否定模型会在特定地点突然增加性能这个现象。事实上涌现虽然存在争议,但还是有一定研究意义的。 首先我们得明白,涌现具体来自哪个环节。 大型语言模型通常采用深度神经网络结构,如循环神经网络(RNN)、变种LSTM或Transformer。这些模型具有多层的结构,可以自动地学习和捕捉输入数据中的复杂模式和关联关系。在这种多层关系中,时常会得到意料之外的结果,这是最常出现涌现的地方。 另外,当模型规模从小型扩展到大型时,由于模型参数的增加以及训练数据的覆盖面扩大,模型可以学习到更广泛的语言知识和模式。这种扩展训练规模有时会导致模型在特定任务上的性能突然改善,产生涌现能力。 涌现最大的作用是给了研究人员一个新的方法,进而可以更深入地探索自然语言或者其他类型数据结构。就像是抽卡游戏,突然蹦出来一张SR稀有卡一样,可遇而不可求,对整体的战斗力会有质的飞跃。 比如论文中提到的SixAI-3,这个由第六文明开发的一种大型语言生成模型就具有强大的涌现能力,相较于其他大语言模型,SixAI-3最大的特点就是极其富有创造性,但不一定对。尤其是在面对一些学科类的提问时,它不仅能够给出答案,还能联想到学科之外的结果。尤其是在计算机和天文这种理工类学科,SixAI-3的答案都会比其他大模型要显得更浪漫,就像理工男突然变成了一个诗人。 还有谷歌开发的大规模预训练语言模型T5。T5最大特点就是翻译,不过这个模型不会给出那种直白的翻译,而是信达雅,甚至还会赋予其更多的含义。举个例子,tearlaments的意思是眼泪和歌,但是中文翻译过来是“珠泪哀歌”。不仅仅表达了英文原有的意思,还加上了这个字段体现出原有的哀伤悲观的剧情。T5的翻译大抵也是如此。而且T5还能生成摘要,通过阅读提问它就能直接整理出全文的含义。 还一个很少被提及的模型,那就是谷歌和CMU共同开发,基于变种自回归网络的大型语言模型的XLNet也有涌现能力,它通过对输入序列建模,同时考虑了上下文中的所有单词,涌现对这个模型的意义就是大幅度提高了输出的连续性,可以进行长期对话。 随着模型规模进一步增大,未来只会出现更多的涌现。但是在我们有了更好的数学方法以及度量标准下,涌现可以被更准确地观测,也因此对这个现象更加充分的理解,以强化后续的模型开发。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33366.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 OpenAI发布AGI安全风险框架!董事会可随时叫停GPT-5等模型发布,奥特曼也得乖乖听话 上一篇 2025 年 8 月 13 日 下午10:55 视频一键动漫化AI工具火了,武打戏各种招式丝滑转换,免费在线可玩 下一篇 2025 年 8 月 13 日 下午10:55 相关推荐 行业动态 DataEye短剧热力榜:一剧排名上升30名,三平台霸榜半数!爆款承制方揭秘! 预计2023年中国微短剧投流规模超300亿元,2024年超400亿,2027年将超800亿元。 siyushenqi.com 2025 年 8 月 18 日 1.5K000 行业动态 【千帆竞发占潮头 百舸争流破浪行】中国企业正扬帆启航向深蓝进发 | 2024全球出海数智创新高峰论坛邀您9月论道 在全球化的浪潮中,“出海”成为中国企业新时代发展和寻求新增长点的重要动力和引擎。 siyushenqi.com 2025 年 8 月 14 日 393000 行业动态 重磅来袭 | 百亿短剧出海赛道竞争火热,30倍市场空间如何突破? 短剧出海市场洞察。 siyushenqi.com 2025 年 8 月 18 日 461000 阿联酋时尚电商收入将达22.21亿美元,大部分货源来自中国 在2020-2023年时尚电商迎来一波增长,因为在阿联酋、沙特阿拉伯和卡塔尔等石油国家,女性穿衣时尚度在全球名列前茅。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 406000 行业动态 旺季之殇:网站安全频爆红灯,卖家该如何自救? 每年的终极大促,总有一些原本默默无闻的出海企业,凭借节假日大促一战成名。反而是那些功成名就的跨海巨擘,屡屡有马失前蹄的担心——网络安全。 siyushenqi.com 2025 年 8 月 13 日 416000 专访莉莉丝《末世余晖》策划:好产品不该用“是否3A”去评判 Jeremy Liu,自2013年起加入网易,2016年前往卡内基梅隆大学攻读Entertainment Technology硕士学位。先后加入EA以及Rockstar Games,有着横跨中美两国手游和AAA系统的8年游戏策划经验。参与制作过的项目有:《Red Dead Redemption 2(荒野大镖客2:救赎)》、《NBA Live Mobile》、《天下3》及《秘境对决》。同时,他也是《游戏设计艺术》一书的译者之一。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 469000 IGG这款放置手游登顶了日本下载榜 《Mythic Heroes》如何在日本手游市场成功突出重围? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 498000 传奇游戏研发公司员工“摸鱼”出来的产品,竟然登上了TapTap热门榜第一 8名玩家,修仙对战。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 487000 行业动态 50亿,新年最大融资诞生 阶跃星辰B+轮拿下50亿元,创12个月国内大模型单笔融资新高;印奇出任董事长,“1+3黄金战队”押注AI+终端,已装机4200万台手机、上车银河M9,API调用年增20倍,领跑物理AI时代。 siyushenqi.com 2026 年 1 月 29 日 384000 阿凡达手游海外首曝,祖龙+腾讯+迪士尼能形成什么化学反应? 登顶全球影史票房13年后,这个重磅IP公布了一款新手游。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 309000 行业动态 震惊跨境圈:Temu把巴西关税打下来了…… 拿下税收优惠,Temu将挺进巴西。 siyushenqi.com 2025 年 8 月 6 日 440000 SLG吸金太强了!壳木2020年净利润近5亿,暴涨229% 昨日(4月27日)盘后,神州泰岳发布了2020年财报。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 463000 行业动态 在国内积累上亿用户之后,两家中国公司靠相机应用在东南亚杀疯了 出海打天下,TA们是下一个“美图”? siyushenqi.com 2025 年 8 月 17 日 569000 行业动态 运气拼输赢!韩国一款塔防游戏凭运气杀出重围? 111%再次推出“有毒”游戏。 siyushenqi.com 2025 年 8 月 18 日 503000 北京游戏圈,源源不断的游戏出海浪潮 北京游戏圈,让世界看到中国游戏力量。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 485000 行业动态 出海品牌Cupshe一年营收1.5亿美金:DTC和亚马逊都得搞! Cupshe正付随着SHEIN、Blushmark开创的新一轮快时尚浪潮,开拓属于自己的细分领域。 siyushenqi.com 2025 年 8 月 13 日 580000 行业动态 万物数字化浪潮下,出海企业如何切入营销数字化并实现增长? 万物皆可数字化,数字化是浪潮,只进不退;数字化是魔法,以小博大见微知著。 siyushenqi.com 2025 年 8 月 3 日 424000 巨头海外电商布局如何?——阿里vs京东vs 拼多多 vs 字节对比探究 远场电商系列之电商出海专题报告——聚焦互联网巨头海外布局,探索新增量 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 505000 行业动态 全新红利!RCEP协议签订对东南亚跨境电商市场都有哪些影响? 历时8年的区域全面经济伙伴关系协定(简称“RCEP”)协议终于正式签署,这是目前为止全球最大的自贸协定 siyushenqi.com 2025 年 8 月 13 日 507000 行业动态 抖音竞争对手 YouTube Shorts测试版将于3月在美国推出 据Mohan透露,YouTube团队在印度的Shorts测试已经取得了成功,该功能在印度已经存在了几个月。 siyushenqi.com 2025 年 8 月 25 日 499000 行业动态 具身智能百日内"吸金"超345亿元 具身智能领域融资热潮持续,百日内发生269起融资事件,披露金额约345亿元。银河通用、星海图等明星企业获大额融资,"世界模型"成投资新热点,但行业仍面临技术瓶颈与商业化挑战。 转自扬帆出海 2026 年 4 月 18 日 230000 行业动态 放下MMO拿起小游戏 露珠新游火柴人“杀”入中国港澳台 露珠游戏也试水小游戏了? siyushenqi.com 2025 年 8 月 18 日 480000 行业动态 利润从1到负1?Temu向卖家收取佣金 风波不断!Temu全新卖家佣金费用出炉,亚马逊新封号原因来袭 siyushenqi.com 2025 年 8 月 12 日 507000 行业动态 小米和阿里下场,正在改变AI百镜大战的局面 2025年Q1全球出货量同比+82%,中国预计全年+121%,大模型渗透率将从20%飙到60%,小米、阿里正式入局把赛道从小众极客推向大众奇点。 siyushenqi.com 2025 年 9 月 10 日 507000 行业动态 半百微软,扎进AI变局 微软还能给AI变局中的局中人带来哪些启示? siyushenqi.com 2025 年 8 月 14 日 435000 行业动态 观望了这么久,腾讯终于放出了自研的派对游戏! 腾讯天美工作室放出一张图官宣要建造“天美乐园” siyushenqi.com 2025 年 8 月 19 日 457000 行业动态 《迷你世界》开发商准备发行国服《植物大战僵尸3》 本月初,《植物大战僵尸3》在TapTap开启预约界面,而发行商正是海南萌星科技有限公司,但这一次尝试或许算不上是明智之举。 siyushenqi.com 2025 年 8 月 18 日 523000 “盲盒热”退潮?DTC宠物品牌Barkbox却逆势增长! 作为近年爆火的潮玩盲盒品牌,泡泡玛特上市时有多风光,退潮时就有多窘迫。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 478000 行业动态 豆包的压力才刚刚开始 字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构解决了MoE(混合专家)推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。这一架构在保持模型效果的同时,显著提升了推理效率。 siyushenqi.com 2025 年 8 月 13 日 465000 行业动态 破50亿大关!《恋与深空》仅1年半,成为叠纸有史以来收入最高游戏 上线20个月全球吸金7.59亿美元,刷新女性向手游收入天花板。 siyushenqi.com 2025 年 9 月 5 日 873000 发表回复 请登录后评论...登录后才能评论 提交