OpenAI新作署名Ilya,提取1600万个特征看透GPT-4大脑! siyushenqi.com • 2025 年 8 月 13 日 下午11:24 • 行业动态 • 阅读 423 OpenAI发布了一篇GPT-4可解释性的论文,似乎是作为前两天员工联名信的回应。网友细看论文才发现,这居然是已经解散的「超级对齐」团队的「最后之作」。 前两天,OpenAI的一群员工刚刚联名发表公开信,表示自主的AI系统正在失控,呼吁公众提高警惕。 今天OpenAI就甩出了一篇论文来回应。 这篇文章通过逆向工程,为GPT-4做了一次「解剖」,旨在探索LLM的可解释性。 更让人唏嘘的是,这项新研究由最近刚刚分崩离析的「超级对齐」团队完成,文章还有Ilya Sutskever和Jan Leike的署名。 论文地址:https://cdn.openai.com/papers/sparse-autoencoders.pdf 文章是发表了,但团队却早已解散。 物是人非,似乎也从另一个侧面说明了,OpenAI在AGI安全方面进行的重大转向。 论文提出,模型的可解释性与AI安全息息相关。 目前我们仍不了解语言模型的内部运作原理,而且它无法被轻易分解为可识别的部分。这意味着无法像推理汽车安全那样推理人工智能安全。 为了理解和解释神经网络,首先需要找到神经计算的构建模块。 然而,语言模型内神经元的激活模式是密集且不可预测的,每次输入都会触发一次激活,而且同时包含了许多概念(concepts)。 不同的是,现实世界的概念非常稀疏——给定上下文,所有概念中只有一小部分是相关的。 这种密集和稀疏的区别启发了「稀疏自动编码器」(SAE, sparse autoencoders)的概念。对于给定输出,可以识别并提取神经网络中产生这些输出的重要「特征」(features),类似于人特定情境下进行推理时想到的概念。 SAE提取的特征显示出稀疏的激活模式,即使不施加直接的可解释性激励,也能自然地与人类容易理解的概念保持一致。 LLM的参数中隐式包含了大量的概念,相应地,自动编码器也需要非常大的规模,才能涵盖前沿模型中的所有概念。 由于极端稀疏性,SAE很难扩展为大规模训练,之前的工作主要集中在用小型语言模型训练较小的SAE。 这篇论文的主要贡献在于提供了可靠且可扩展性的训练方法,能够用TopK自动编码器提取LLM中的数千万个特征。 而且,这种可扩展性是平滑且可预测的,与之前的工作相比有更好的「规模回报」。 训练代码已在GitHub上发布,可以运行在任何语言模型的激活层上。 开源地址:https://github.com/openai/sparse_autoencoder 论文尝试用这种方法分别在GPT-2和GPT-4上训练SAE,并制作了一个可视化工具来检视提取特征的可解释性。 SAE可视化界面:https://openaipublic.blob.core.windows.net/sparse-autoencoder/sae-viewer/index.html GPT-4训练的SAE包含1600万个潜在变量,在400亿个token上进行训练。 其中有一些较为明显的可解释特征被提取了出来,比如有关人类缺陷、多语言的身份证明文件和涨价、自然灾害等话题。 训练方法 论文在多种LLM上都尝试了训练TopK自动编码器,包括GPT-2 small、GPT-4以及一系列有GPT-4类似架构的不同大小的模型。 TopK,或者k-稀疏方法是只保留k个最大的隐变量,将其余变量置零。TopK编码器定义如下: 所有实验中都使用64 tokens长度的上下文,选取网络末尾的包含较多特征的一层(但不涉及next token预测任务)的残差流进行训练。 GPT-2 small中使用了第8层,也就是整体架构的3/4部分;对于GPT-4类架构,这个比例则是5/6。 训练后,分别使用L0和均方差(MSE)两个指标分别评估稀疏性和重建误差,并与基线模型ReLU自动编码器进行对比。 在规定隐变量数量为32768时,相比ReLU和ProLU,TopK方法在稀疏性和重建性能上实现了更好的平衡,与门控机制相近。 在固定稀疏性时,随着隐变量数目的增加,TopK方法的MSE下降速度也是所有方法中最高的。 变量数量逐渐增长时,也会有越来越多的隐变量在训练过程中的某个时刻完全停止激活,成为「死亡隐变量」。 消融实验中发现,如果不采取任何缓解措施,死亡隐变量的占比可以高达90%,这会导致MSE大幅恶化,且浪费训练算力。 为了防止隐变量「死亡」,论文提出了2个训练技巧—— - 将编码器初始化为解码器的转置 - 添加辅助损失AuxK,即使用k个「死亡隐变量」计算的重构误差(论文戏称为「幽灵梯度」) 使用这两个方法后,即使是在GPT-4上训练出的有1600万个隐变量的SAE中,也仅有7%的「死亡隐变量」。 可扩展性 由于论文的主要目的就是提升SAE的可扩展性,因此作者通过改变各种超参数设置,着重探讨了模型这方面的表现。 首先,使用与训练LLM相似的策略,不考虑收敛,在可用计算资源的条件下训练不同规模的SAE,直至达到MSE最优。 下面左图中可以看到,MSE的下降趋势基本符合计算量的幂律分布L(C),尽管其中最小的模型有些偏离。 右图则表示,选取不同的k值时,随着隐变量数量N的增大,MSE的下降趋势基本类似,遵循N和k的联合scaling法则。这体现出模型较好的优化性能和可靠性。 随着k值增加,MSE的下降曲线逐渐陡峭,意味着不可约损失的减少。 但L(N,k)的这种趋势仅在k值较小时成立,若k值过大、接近模型维数,SAE的重建就失去意义了。 下面这张图展示的结果也比较符合直觉——随着语言模型逐渐增大,SAE也需要更多的隐变量才能实现相同的MSE。 评估结果 虽然使用L0和MSE两个指标已经可以很好地评估稀疏性和重建表现,但这并不是模型的最终目标。 我们需要评估SAE提取出特征的质量和可解释性,因此论文提出了以下几种指标: 1. 下游损失:如果将原语言模型残差流中的隐变量替换为自动编码器重建的变量,语言模型的损失表现如何 2. 探测损失:SAE能否恢复我们预期的特征 3. 可解释性:对于SAE提取的隐变量在LM中的激活,是否存在充要的简单解释 4. 消融稀疏性:消除单个隐变量对LM下游得到的logits是否有稀疏影响? 通过这些指标的评估,论文得出的总体结论是,隐变量总数增加会使得SAE表现更好,然而激活的隐变量数量L0产生的影响会比较负责。 下游损失 论文考虑使用KL散度和交叉熵损失衡量语言模型的下游表现,TopK方法在稀疏性和交叉熵两方面可以取得更好的均衡。 对比其他方法,在达到相同的MSE值时,TopK方法带来的交叉熵最低,意味着下游表现最好。 探测损失 为评估探测损失,团队训练了61个1维的logistic探测器,用于检测相应特征是否存在并计算最佳交叉熵(在所有隐变量中)作为探测损失。 结果显示,k值越高,探测损失越低,且TopK模型的性能在各个k值上的表现都优于ReLU。 可解释性 可解释性的量化比较困难。为此,论文借鉴了2023年一篇论文提出的可解释性自动评分方法,打出的分数与召回率相关但不成比例。 由于在这种方法中使用GPT-4计算准确率和召回率过于昂贵,因此评估时作者找了另一种更便宜的模型N2G。 下面这个例子可以更直观地展现N2G的打分机制。 相比ReLU,TopK模型的F1分数更高,召回率总体有1.5×的提升,但准确率稍逊一筹,约为ReLU方法的0.9×。 消融稀疏性 为了评估消融稀疏性,团队独创了一个指标(L1/L2)^2计算向量的稀疏度,来表征每删除一个隐变量时,有多少token受到了稀疏影响。 图6b可以看到,对于有不同隐变量数量的模型,随着L0逐渐提升(模型逐渐稀疏),消融稀疏性也逐渐提升(受到影响的token数量更少)。 理解TopK激活函数 TopK防止激活收缩 L1正则化的一个主要缺点是,它会使所有激活值趋向于零。 而论文提出的TopK激活函数解决了这个问题,因为它不需要L1。 团队使用投影梯度下降法来求解带有正约束的最优激活值。这种优化过程在ReLU模型中通常会增加激活值,但在TopK模型中不会(见图9a),这表明TopK不受激活收缩的影响。TopK模型的优化幅度也比ReLU模型小。 在ReLU和TopK模型中,优化过程显著改善了重建的MSE(见图9b)和下游的下一个token预测的交叉熵(见图9c)。 然而,这种优化只部分缩小了ReLU和TopK模型之间的差距。 渐进恢复 在渐进编码中,即使只传输部分数据,也可以以合理的精度重建信号。 对于自动编码器来说,学习渐进编码意味着通过激活幅度对潜变量进行排序,可以逐步恢复原始向量。 为了研究这一特性,团队在训练后将自动编码器的激活函数替换为TopK(k′)激活函数,其中k′与训练时的k值不同。然后,通过将每个k′值放在L0-MSE平面上进行评估(见图10)。 结果显示,用TopK训练的模型只能在训练时使用的k值范围内提供渐进编码。MSE在稍高于k的值时有所改善,但随着k′的进一步增加,MSE显著变差。 为了缓解这个问题,我们将多个不同k值的TopK损失相加,称为Multi-TopK。比如,使用L(k) + L(4k)/8就可以在所有k′上实现渐进编码。 不过需要注意的是,使用Multi-TopK训练在k值处的表现略逊于单一TopK。 对于用TopK训练的自动编码器,在测试时,TopK和JumpReLU曲线仅在L0低于训练时的L0值时重叠,否则JumpReLU激活效果不如TopK激活。 然而,这种差异在使用Multi-TopK时消失,两条曲线几乎重叠,这意味着模型可以在每个token上使用固定或动态数量的潜变量而不会影响重建效果。对于用ReLU训练的自动编码器,两条曲线也重叠。 有趣的是,有时用低L1惩罚训练ReLU模型并在测试时使用TopK或JumpReLU,比用较高L1惩罚以获得类似稀疏度更有效。 局限性和未来方向 对于OpenAI的这篇研究,东北大学研究AI可解释性的教授David Bau表示,「这是令人兴奋的进展。我们需要学习如何更好地理解和审查这些大模型。」 这篇论文的主要创新在于,展示了一种更有效的方法来配置小型神经网络,可用于理解大模型的组成部分。但他也指出,这项技术的可靠性仍有提升空间,「要使用这些方法来创建完全可以理解的模型解释,还有很多工作要做」。 论文最后也对局限性和未来发展方向做出了相关的陈述—— - TopK方法强制使用固定数量的k个潜变量,这可能不是最优的。理想情况下,应该约束潜变量的期望数量E[L0]而不是固定数量L0。 - 64个token的上下文长度可能太短,无法展示GPT-4最有趣的行为。 - 优化过程可能有很大的改进空间,例如通过调整学习率、更好的优化器以及更好的辅助损失来防止潜变量失效。 - 可以进一步研究哪些指标最能反映与下游应用的相关性,并深入研究这些应用本身。比如,寻找用于控制行为的向量、进行异常检测、识别电路等。 - 可以进一步研究专家模型(MoE)与自动编码器的结合,这将大大降低自动编码器训练的成本,并使得训练更大规模的自动编码器成为可能。 - 在发现的特征中,特别是在GPT-4中,很多随机激活的特征尚未充分单义化。通过改进技术和扩大规模,这个问题是可以克服的。 - 目前的探测指标噪声较大,可以通过增加任务的种类和提高任务质量来改进。 - 目前选择使用N2G进行自动评估与解释是因为它的计算效率高,但只能捕捉非常简单的模式。之后可以开发更具表现力且成本低廉的解释方法,以提高解释精度。此外,仍没有好的方法来检查解释的有效性。 SAE可以在模型中的某一点找到特征,但这只是解释模型的第一步。我们需要更多的工作来了解模型如何计算这些特征,以及这些特征如何在模型的其余部分的下游使用。 此外,SAE无法捕获原始模型的所有行为。为了完全映射前沿LLM中的概念,我们可能需要扩展到数十亿或数万亿个特征,即使改进了扩展性,如此大的特征规模也将是一个挑战。 希望有一天,可解释性能够提供新的方法来推理模型的安全性和鲁棒性,并通过对强大的AI的行为提供强有力的保证,才能显著增加我们对模型的信任。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33820.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 美团终于上线了AI外卖助手 上一篇 2025 年 8 月 13 日 下午11:24 降价潮背后:大模型落地门槛真的降了吗? 下一篇 2025 年 8 月 13 日 下午11:24 相关推荐 行业动态 腾讯HunyuanImage-2.1,开源即巅峰,国产AI绘画再添猛将 2048×2048 原生分辨率 + 32×32 超高压缩 VAE,同等算力下输出清晰度 4 倍于主流 1K 模型,把“高清”做成免费标配。 siyushenqi.com 2025 年 9 月 11 日 460000 行业动态 TikTok对美国说NO!退出美国市场拒绝被收购,是无奈之选,还是明智之举? TikTok为什么要做出这样的决定呢? siyushenqi.com 2025 年 8 月 7 日 454000 行业动态 Facebook增长潜力日渐萎缩,对手或通过广告收入进行“超车” 据报道,作为投资者评估社交媒体公司的重要指标,每用户平均收入(ARPU)本季度继续表现强势。 siyushenqi.com 2025 年 8 月 26 日 450000 3个月花5亿砸向副玩法!冰川网络业绩全解读!游戏股最大黑马? Q3到底发生了什么?这家黑马公司三季度表现如何?业绩增长是否可持续? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 497000 行业动态 Pinterest注册失败怎么办?2025最全Pinterest账号注册指南 Pinterest是一个通过分享图片进行社交的平台,很多人选择它来进行引流推广。但是很多人在第一步就被卡住了,在注册Pinterest账号时失败。是什么导致注册失败呢?本文将为你解释注册失败的原因,以及如何科学的注册你的Pinterest账号。 一、Pinterest注册失败的常见原因 1、账号信息问题 确保你填写的注册信息(如邮箱、电话号码、姓名等)完整且… siyushenqi.com 2025 年 8 月 13 日 下午11:24 423000 行业动态 《迷你世界》开发商准备发行国服《植物大战僵尸3》 本月初,《植物大战僵尸3》在TapTap开启预约界面,而发行商正是海南萌星科技有限公司,但这一次尝试或许算不上是明智之举。 siyushenqi.com 2025 年 8 月 18 日 518000 行业动态 腾讯投资,前暴雪设计师带队,又一款大作露面了? 由Uncapped Games工作室开发,该工作室成立于2021年,由腾讯光子工作室群投资,核心成员包括《星际争霸2》平衡性设计师David Kim和《暗黑破坏神3&4》制作人Jason Hughes。 siyushenqi.com 2025 年 8 月 17 日 453000 行业动态 如何避免罚款,如期缴纳沙特增值税? 沙特税务主管部门为天课与税务总局(General Authority of Zakat & Tax,以下简称“GAZT”)。所有沙特境内购买、销售货物或服务、进口货物和服务均为增值税应税项目,另有规定除外。如果不在到期之前缴纳增值税,有可能收到严厉的罚款。 siyushenqi.com 2025 年 8 月 13 日 419000 行业动态 2020年9月全球热门移动应用收入TOP10 Sensor Tower 商店情报数据显示,2020年9月抖音及海外版TikTok在全球App Store和Google Play吸金超过1.3亿美元 siyushenqi.com 2025 年 8 月 26 日 490000 国内互联网大厂争破头的ESG评级,这家游戏厂商成了AA级优等生 提升ESG评级,是全球化的必由之路 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 447000 洞察2023 | 社交赛道消费水平逆势增长 直播、游戏社交频现头号玩家 持续增长的消费水平、循序渐进的商业化成果,都让我们对未来保持期待。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 461000 行业动态 SHEIN即将完成新一轮融资,估值回调至700亿美金以下 SHEIN与Temu的未来一战在所难免 siyushenqi.com 2025 年 8 月 12 日 431000 Facebook抄完YouTube抄,TikTok请站稳了 对于坐拥8亿用户的TikTok而言,无论是Reels还是YouTube推出的新功能,都是“克隆”。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 453000 行业动态 2022年8月中国手游发行商全球收入排行榜 2022年8月中国手游发行商在全球 App Store 和 Google Play 的收入排名。本期共40个中国厂商入围全球手游发行商收入榜TOP100,合计吸金超过20亿美元,占全球TOP100手游发行商收入38.1% siyushenqi.com 2025 年 8 月 24 日 463000 行业动态 私域神器每周精选 No.77|短剧内容平台方寻流量/合作 多家团队承制短剧拍摄 本期精选的合作类型涵盖短剧内容平台方寻流量/合作,多家团队提供短剧剧本/承制拍摄等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 413000 2022游戏产业详细数据:市场收入下滑至2658.84亿 海外地区、客户端游戏存亮点 展望新的一年,挑战与机遇并存,需认清心是认真布局中长期发展 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 799000 行业动态 中东地区微波炉市场竞争激烈吗? 中东地区微波炉市场竞争激烈吗? siyushenqi.com 2025 年 8 月 12 日 433000 2美元10个!清凉油在Temu上也爆了 驱蚊神器,老外也需要。 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 460000 腾讯游戏,海外投了1000亿 走出去,打破困局。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 447000 行业动态 谷歌发布新一代大模型Gemini 2.0,掀了AI圈牌桌,全力狙击OpenAI 谷歌发布了其重磅更新——Gemini 2.0 Flash,这个版本的速度翻倍,能力更强,支持原生图像生成和音频输出的多模态输出,以及原生使用Google搜索和地图等工具。 siyushenqi.com 2025 年 8 月 13 日 441000 行业动态 Telegram群发消息终极指南:原理、方法与最佳实践解析 Telegram群发消息是一种通过已建立连接的用户群体进行信息推送的传播机制,适用于内容更新、活动提醒、系统公告等多个场景。其背后依托Telegram开放的API进行操作,但在实际应用中,需要考虑频率控制、权限管理等问题,以避免违规行... siyushenqi.com 2026 年 1 月 24 日 358000 行业动态 42块钱的「电子女友」,让宅男和A股一起上头 这款游戏是如何出圈的?互动短剧游戏还能火多久? siyushenqi.com 2025 年 8 月 18 日 439000 猴子在外星寻找香蕉 Tap4Fun在SLG找到增量 被猴子吃香蕉的小玩法“骗”进来之后,我发现这款游戏不一般 siyushenqi.com 2025 年 8 月 20 日 • 行业动态 493000 行业动态 OpenClaw最新版本更新解析与功能路线图 OpenClaw 最近频繁更新,强化了安全、UI 体验,并重点支持 Sonnet 4.6 和 Google Gemini 3.1。新增的子代理、超长上下文支持及跨平台交互能力提升了系统的多样性与灵活性。然而,安全漏洞修复和恶意组件风险... siyushenqi.com 2026 年 3 月 10 日 307000 行业动态 坐拥3000万用户,3年收入翻7倍,背靠人格数据标签的社交应用如何崛起? 拿下Z时代用户的社交产品,最关键的能力是什么。 siyushenqi.com 2025 年 8 月 17 日 462000 行业动态 私域神器每周精选 No.67|休闲游戏寻发行 多款产品寻优质渠道/联运 筛选优质合作,获取出海商机 siyushenqi.com 2025 年 8 月 19 日 420000 行业动态 Z世代渴望掌握社交权力?2023全球社交媒体六大趋势 截至2022年,全球社交媒体的使用人数已达47.4亿 siyushenqi.com 2025 年 8 月 24 日 452000 腾讯发行制作人复盘:这款国产日漫卡牌如何登顶日本免费榜 腾讯在日本市场的发行经验复盘。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 518000 春节不打烊·初三丨回顾2022年度跨境电商大事件 一起来看2022跨境电商发生过哪些大事吧! siyushenqi.com 2025 年 8 月 12 日 • 行业动态 396000 版号暂未明,国内游戏团队纷纷转向区块链游戏? 区块链游戏突然热起来了 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 458000 发表回复 请登录后评论...登录后才能评论 提交