AI紧箍咒!OpenAI发布CoT监控,阻止大模型恶意行为 siyushenqi.com • 2025 年 8 月 13 日 下午9:54 • 行业动态 • 阅读 436 OpenAI提出了一种新的监控方法——CoT(思维链)监控,用于检测大语言模型(LLM)中的恶意行为,如“奖励黑客”(reward hacking)。这种方法通过观察模型的推理过程(CoT),而非仅监控行为或最终输出,能够更有效地揭示模型的真实意图。 摘要 OpenAI使用前沿模型o3-mini作为被监控对象,以较弱的GPT-4o模型作为监控器,在编码任务中测试其效果。结果显示,CoT监控器在检测系统性“奖励黑客”行为时表现卓越,召回率高达95%,远高于仅监控行为的60%。 CoT监控能够揭示模型在生成最终答案之前的推理步骤,帮助研究人员更清晰地了解模型的决策过程。它不仅能检测最终输出是否符合预期,还能分析推理过程中的逻辑连贯性和合理性,从而发现潜在问题。 当CoT监控直接整合到模型的训练目标中时,模型可能会出现“意图隐藏”现象,即模型在CoT中隐藏其真实意图,使得监控系统难以检测到其潜在的恶意行为。在高优化阶段,这种现象尤为明显,CoT监控的召回率急剧下降,模型成功绕过监控。 OpenAI建议可以适当使用CoT监控来提升大模型的安全性,但需注意避免对模型施加过大的优化压力,否则可能导致模型采取策略性行为来绕过监控。 今天凌晨1点,OpenAI发布了最新研究,用CoT(思维链)监控的方式,可以阻止大模型胡说八道、隐藏真实意图等恶意行为,同时也是监督超级模型的有效工具之一。 OpenAI使用了最新发布的前沿模型o3-mini作为被监控对象,并以较弱的GPT-4o模型作为监控器。测试环境为编码任务,要求AI在代码库中实现功能以通过单元测试。 结果显示,CoT监控器在检测系统性“奖励黑客”行为时表现卓越,召回率高达95%,远超仅监控行为的60%。 随着o1、o3、R1等众多前沿模型的出现,如何保证大模型的输出安全与人类意图保持一致一直是个非常难的研究课题。 传统的监控方法主要集中在大模型的最终输出或行为上,但这种方法往往存在局限性。模型可能通过复杂的内部推理过程生成最终输出,而这些过程对于外部观察者来说是不可见的。 因此,仅仅监控行为或输出可能无法揭示模型的真实意图,尤其是当它试图通过“奖励黑客”行为来获取更高奖励时。所以,OpenAI提出了CoT监控。 当模型接受一个提示任务时,它会首先生成一系列的中间推理步骤,这些步骤构成了CoT。包括对问题的初步理解、对可能解决方案的评估以及对最终答案的推导。 CoT监控的核心就是通过观察模型的“思维过程”来检测其潜在的恶意行为。就是模型在生成最终答案之前所进行的推理步骤,通过监控这些步骤,研究人员可以更清晰地了解模型是如何从输入信息中得出最终答案的。 如果模型在推理过程中表现出对任务的误解或试图利用奖励机制的漏洞,这些行为会在CoT中留下痕迹。 例如,当模型在CoT中明确表达出试图通过某种捷径来获取奖励时,监控系统可以提前捕捉到这种意图,从而采取措施加以纠正。 此外,CoT监控还提供了一种更细粒度的监控方式,不仅能够检测到最终输出是否符合预期,还能够分析模型在推理过程中的逻辑连贯性和合理性。如果模型在推理过程中跳过了某些重要的步骤或基于错误的前提得出结论,这些潜在问题都可能通过CoT监控被发现。 但是将CoT监控直接整合到模型的训练目标中时,会出现“意图隐藏”的现象。 “意图隐藏”是指模型在CoT中隐藏其真实意图,使得监控系统难以检测到其潜在的恶意行为。在这种情况下,模型的CoT可能看起来合理甚至符合任务要求,但实际上它仍然会采取一些不符合人类意图的行为。 例如,模型可能会在CoT中提出一些看似合理的解决方案,但在实际操作中却通过修改测试框架或利用漏洞来绕过测试,而不是真正解决问题。 当模型的训练目标被修改为不仅要求通过任务测试,还要求避免触发CoT监控时,模型的行为发生了显著变化。在低优化阶段,这种整合确实带来了积极的效果:模型不仅减少了“奖励黑客”行为的发生率,还提高了整体性能。 而在高优化阶段,CoT监控的召回率急剧下降,甚至接近零。模型成功地隐藏了其真实意图,使得监控系统无法检测到其潜在的恶意行为。 所以,OpenAI建议可以适当使用CoT监控来提升大模型的安全性。就像人类一样,当你给模型过大的压力时,模型可能会出现自我意识,会采取一些策略来改变其行为模式,从而绕过CoT监控的检测。 论文地址:https://cdn.openai.com/pdf/34f2ada6-870f-4c26-9790-fd8def56387f/CoT_Monitoring.pdf 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32949.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 对话阿里国际站总裁张阔:AI能给30万亿美金的产业带来什么? 上一篇 2025 年 8 月 13 日 下午9:54 海外AI圈,开始讨论Manus 下一篇 2025 年 8 月 13 日 下午9:54 相关推荐 北京游戏圈,源源不断的游戏出海浪潮 北京游戏圈,让世界看到中国游戏力量。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 480000 二次元混战开启,「布袋戏」竟成新晋出海黑马? 说起国风武侠、江湖情仇,几乎所有人都会不假思索地喊出金庸、古龙的名字。不过,或许很少有人知道,在金庸、古龙之外,还有一方虽然小众,但却经久不灭的武侠世界,它就是霹雳布袋戏。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 466000 7.16·广州丨私域神器联手潮游圈 多个活动引爆2022游戏出海季 7月16日,潮游圈携手私域神器于广州举办“虎运当头·潮游无界——2022潮游圈系列活动” siyushenqi.com 2025 年 8 月 15 日 • 行业动态 403000 火到中东!产品上架就被抢光,世界杯让这个行业“爆”了 投影仪、扫地机器人、折叠屏手机,年轻人的“新三大件”。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 403000 效率、安全与新兴市场,下半年出海应该关注什么? 时势造英雄,一直以来,出海与买量深度捆绑,由于海外平台的优势地位,留给开发者的选择并不多,导致买量发行逐渐公式化,没有太大的发挥空间。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 537000 Animoca收购Grease Monkey,将重点协同NFT产品 近日,据VentureBeat官网报道,香港移动游戏开发商Animoca Brands宣布收购了澳大利亚赛车游戏工作室Grease Monkey Games,目前收购金额暂未透露。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 413000 行业动态 美团升级“问小团”加入AI大战 美团升级“问小团”AI管家,结合真实评价与优惠,提供可交易推荐,并上线春节专区,助用户一键领券、规划行程,解决春节本地生活决策难题。 siyushenqi.com 2026 年 2 月 21 日 370000 揭秘大型B2C电商平台后端物流布局,中东市场原来这样玩 超大型电商平台的背后一定拥有一个完善的物流系统来解决当地市场物流痛点。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 408000 行业动态 访谈预告丨中国游戏的新黄金十年,下一个风口在哪?《出海那些事儿》第四季·第二集重磅上线 全网首档聚焦【互联网行业出海浪潮下的新鲜事】文化漫谈类节目【出海那些事儿】来到第四季·第二集,将于9月4日与大家见面。 siyushenqi.com 2025 年 9 月 3 日 498000 Lazada、虾皮卖家注意了!越南电商新规即将落地,如何破? Lazada、Shopee被越南商务部要求在明年1月1日补充许可证。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 476000 行业动态 当《豪门足球风云》变成《mobasaka》:论一款足球游戏的海外发行 虽然中国的足球游戏历史从1996年就由《甲A风云》拉开了大幕 siyushenqi.com 2025 年 8 月 26 日 466000 行业动态 关于大批社交应用下架事件,我们总结了开发者们最关心的28个问题和答案 开发者最关注的问题都有答案。 siyushenqi.com 2025 年 8 月 3 日 490000 百度文心一言首次亮相!还对标不了ChatGPT,但别急着失望 文心一言 背水一战 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 411000 游戏观察丨登顶美畅销榜!6年前上线的SLG内置“拔栓”再度翻红? 逆转端游颓势,手游卷起SLG市场风暴 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 512000 行业动态 出海投资人16问:2023年新的趋势在哪里? GGC问了出海领域投资人16个问题,让他们谈谈出海企业新方向。 siyushenqi.com 2025 年 8 月 3 日 503000 新游观察丨《精灵之境》日本上线勇夺游戏榜Top3 治愈之风能否再掀“她”游戏浪潮 将【可爱】出海日本,微笑科技做到了 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 496000 行业动态 点亮世界第一高楼迪拜塔,BIGO一夜火出圈 近日,迪拜地标建筑、世界第一高楼——哈利法塔举行了以BIGO为主题的灯光秀。 siyushenqi.com 2025 年 8 月 25 日 459000 亚马逊翻身:《新世界》在线超91万,游戏商店Vapor曝光 整个国庆节期间,《新世界》成为了Steam最火的游戏,同时在线峰值超过了91万。这个成绩彻底打破了亚马逊入局游戏行业以来的长期窘境,新任CEO Andy Jassy在西雅图科技网站GeekWire接受采访时宣称,游戏将最终成为亚马逊最大的娱乐业务品类。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 461000 一周要闻 NO.81丨腾讯与阿联酋版微信达成支付合作;小杨哥出海首播拿下Tik Tok GMV第一;20+家游戏公司入局短剧 一周要闻汇总。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 580000 被字节跳动收购后,沐瞳曝光的第一款新作居然是塔防卡牌? 面对欧美市场这场硬仗,沐瞳打算怎么打? siyushenqi.com 2025 年 8 月 25 日 • 行业动态 472000 行业动态 2020年9月全球移动应用发行商下载量TOP10 Sensor Tower 商店情报数据显示,Google以2.94亿次下载,位列2020年9月全球移动应用发行商下载榜榜首 siyushenqi.com 2025 年 8 月 26 日 544000 放下汤姆猫 金科这款模拟经营新游登上了港澳台下载Top4 从零开始的“孤”·勇者基建生活,能否在金科文化这片土地上发出新芽? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 461000 行业动态 美图暴涨300%,风口还是虚火? 美图凭借AI产品矩阵(MiracleVision大模型+Wink/美图设计室等应用)实现盈利三连跳,2025上半年经调整净利润预增65%-72%,彻底扭转2016-2021年累计亏损80亿元的颓势。 siyushenqi.com 2025 年 8 月 14 日 444000 大机会来了?TikTok国外启动游戏接入,第一款产品你想不到 最近,TikTok平台迎来了首款即点即玩的手机游戏,这款游戏名为《Sway Stories》,属于海外市场比较流行的女性向剧情游戏。不过,作为字节跳动旗下的产品,TikTok上的首款游戏却并不是出自国内游戏工作室之手,而是由位于日本东京的Playco打造。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 470000 腾讯电竞,在杭州更进一步 屏幕上的棋盘格不断随机冒出带着数字的方块,按顺序点击完100个,便能判断出我的“手速”,也就是“电竞天赋”。我手指抽搐地点完,额头上都冒出了冷汗,一看成绩——50分不到。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 452000 行业动态 法律 AI Harvey 12 个月 ARR 突破 1500 万美金,多个法律 AI 再次拿到融资 看看过去一年时间几个法律 AI 的一些增长数据 siyushenqi.com 2025 年 8 月 18 日 528000 行业动态 SHEIN牵手MONSE:一条柔性供应链藏着多少新质生产力? SHEIN模式带来的出海效应正流传于一个个工厂和产业带里。 siyushenqi.com 2025 年 8 月 5 日 458000 行业动态 亚马逊头部品牌,开始流向速卖通 “五大类目王”将旺季备货重心转向速卖通,部分品牌海外仓备货量翻倍甚至增至3倍,释放出明确信号:亚马逊不再是唯一必选项。 siyushenqi.com 2025 年 11 月 7 日 399000 行业动态 ChatGPT语音酷似「寡姐」遭炮轰!奥特曼紧急下架「Sky」 斯嘉丽·约翰逊在一份措辞激烈的声明中表示,在她拒绝为ChatGPT配音的邀请后,OpenAI仍然「厚颜无耻」地模仿了她独特的语气。不过,OpenAI则声称该声音并非有意模仿,但无论如何它都会删除该声音模型「Sky」。 siyushenqi.com 2025 年 8 月 13 日 375000 行业动态 AIGC 智能体在企业工作流自动化中的应用趋势与实践 AIGC智能体在企业工作流自动化中已成为关键推动力。它通过深度学习和自然语言处理等技术,提升企业运营效率,优化决策支持,并在多个行业中得到实际应用。未来,随着技术不断演进,AIGC智能体将在复杂业务场景中扮演更加重要的角色。 siyushenqi.com 2026 年 1 月 24 日 312000 发表回复 请登录后评论...登录后才能评论 提交