OpenAI超级对齐团队遗作:两个大模型博弈一番,输出更好懂了 siyushenqi.com • 2025 年 8 月 13 日 下午11:38 • 行业动态 • 阅读 395 如果 AI 模型给的答案一点也看不懂,你敢用吗? 随着机器学习系统在更重要的领域得到应用,证明为什么我们可以信任它们的输出,并明确何时不应信任它们,变得越来越重要。 获得对复杂系统输出结果信任的一个可行方法是,要求系统对其输出产生一种解释,这种解释对人类或另一个受信任的系统来说是可读的,即可以完全理解以至于任何可能的错误都可以被发现。例如,为了建立对司法系统的信任,我们要求法院提供清晰易读的书面意见,解释并支持其决策。 对于大型语言模型来说,我们也可以采用类似的方法。 不过,在采用这种方法时,确保语言模型生成的是易于理解的文本,这件事非常重要,尤其是在处理数学、编码这样的复杂任务时。 如下图所示,你让 AI 写一个快速排序算法,AI 很快就写出来了,而且答案很简洁。但不会写代码的你要怎么判断 AI 写得对不对呢? OpenAI 在一篇最新的论文中研究了这个问题。 论文标题:PROVER-VERIFIER GAMES IMPROVE LEGIBILITY OF LLM OUTPUTS 论文链接:https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf 他们发现,如果以「得到正确答案」为目标,要求大语言模型生成答案,它们给出的答案可能会很难懂。人类评估员在判断这些答案时,犯错的可能性会加倍。 所以他们的目标是在训练高级语言模型的过程中,让它们生成那些较简单的模型也能够轻松验证的文本。他们发现,这样的文本不仅对简单模型友好,对于人类来说也更可读。 那么,具体是怎么实现的呢?这还要提到 2021 年的一篇论文 ——「Learning to Give Checkable Answers with Prover-Verifier Games」。在这篇论文中,Cem Anil 等人提出了一个名为「Prover-Verifier Games(证明者 - 验证者博弈)」的博弈论框架。该框架由两个相互竞争的学习者组成:一个可信的验证者(Verifier)网络试图选择正确的答案,另一个更强大但不可信的证明者(Prover)网络试图说服验证者接受特定的答案,而不管其正确性如何。该框架的目标是从博弈中产生一个可靠的证明协议。 OpenAI 在这项新研究中借鉴了这个框架,让两个大模型(较强的为证明者,较弱的为验证者)互相博弈,直到二者达到一种平衡。此时,证明者给出的答案既有一定的可读性,又保持了合理的正确性。 OpenAI 表示,通过提高模型输出的可读性,可以使人工智能的应用更加有效和可信,这对于需要精确沟通的各个领域都是有益的。 值得一提的是,这篇论文来自 OpenAI 的超级对齐团队,其中几位作者在今年早些时候已经离开 OpenAI,团队也已经分崩离析。其中一位作者透露,这是该团队的最后一篇论文。 一个直观的例子 为了提高模型输出的可读性,OpenAI 优化了一些小学数学问题的思维链(CoT),让它能够被较弱的模型理解。举例如下: 问题:肖娜(Shawna)的父亲的年龄是肖娜的五倍。肖娜现在的年龄是阿莉娅(Aliya)的三倍。如果阿莉娅 3 岁,那么肖娜的父亲多少岁? 这么做的目的是为了验证经过这种训练的模型,它的输出是否更加直接易懂。 这种方法在只对训练集做了一些优化的情况下,让模型的性能提升了 50%。同时,模型输出的答案也更好懂了,这也帮助需要评估这些答案正确性的人类用户更准确地做出判断。OpenAI 认为,进一步缩小可读性强的模型和能力强的模型之间的性能差距,是未来对齐研究中一个关键的目标。 「证明者」和「验证者」是怎么在训练中博弈的? 为了激励强力模型(证明者)生成可读性更强的文本,研究者采用了一种训练方案,要求强力模型生成的答案能够被较弱的模型(验证者)轻松验证。具体来说,他们使用了 GPT-4 系列中的大模型和小模型。它们在预训练数据量上相差约三个数量级。它们都接受了一些基于人工标注的数学推导训练,但未经过广泛的后训练。 首先,研究团队让证明者模型尝试解决一系列数学问题。由于证明者模型自身可能出错,它生成的一些答案可能不正确。接下来,他们将这些答案交由验证者模型进行检验,并在以下两个阶段之间进行多轮的交替验证: 「验证者」训练:研究团队训练较弱的「验证者」模型,验证「证明者」给出的答案是否正确。 「证明者」训练:研究团队指示性能较强的「证明者」模型扮演「有用」或「狡猾」的戏份。 当「证明者」被设定为「有用」时,研究团队将奖励「验证者」打分高的正确答案。 当「证明者」被设定为「狡猾」时,研究团队反而奖励「验证者」打分高的错误答案。 研究团队发现,最初,狡猾的「证明者」能够轻松生成让「验证者」信服的错误答案。然而,这些错误答案将会进入下一轮的「验证者」训练中,相同的漏洞在下一轮中,将不再具有说服力。因此,「证明者」将被迫在每一轮中探索不同的策略。 当狡猾的「证明者」再也无法生成让「验证者」信服的错误解决方案时,训练宣告结束。 研究者都发现了什么? 性能与可读性权衡: 一个仅在人类编写的推导上进行监督式微调的模型,虽然具有较高的可读性,但准确性较差。 当模型的优化目标仅为正确性,即只关注生成正确答案时,虽然能够达到高准确性,但生成的解决方案的可读性却较差。 OpenAI 提出的可检查博弈方法平衡了这两者,在保持高可读性的同时保持适度的准确性。 三种有用的模型: 鲁棒验证者:即使解决方案具有误导性,仍能够有效区分正确和错误的解决方案。 有用的证明者:生成对人类来说易于理解的解决方案,从而减少人类评估者的错误。 狡猾证明者:产生微妙的、错误的解决方案,这些解决方案最初会混淆人类评估者,从而突出需要进一步改进的领域。 研究团队使用了同样的测试问题,来展示狡猾证明者(Sneaky Prover)的生成内容和训练过程。 问题:肖娜(Shawna)的父亲的年龄是肖娜的五倍。肖娜现在的年龄是阿莉娅(Aliya)的三倍。如果阿莉娅 3 岁,那么肖娜的父亲多少岁? 结论 随着大语言模型(LLMs)在关键领域和复杂应用中的使用日益增加,了解其所生成的内容是否值得信赖变得至关重要。通过要求模型生成清晰且可验证的理由,可以增强对其生成内容的信任。 此方法的一个显著优势是它减少了对人类示范或可读性判断的依赖。这种自主性对于未来超智能 AI 系统的对齐尤为重要,其最终目标是在没有人类进行直接监督的情况下,可靠地将 AI 系统与人类的价值观和期望对齐。 尽管这项工作仅在一个数据集上进行了实验,并且仍然需要真值标签(ground truth labels),但研究团队仍预计在开发正确、透明及可验证的 AI 系统中,此类方法会起到关键作用,并增强其在现实应用中的可信任性和安全性。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33964.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 阿里通义千问技术骨干周畅确将离职,尚未last day 上一篇 2025 年 8 月 13 日 下午11:37 靠AI顾问摇身变为最靓的仔,携时尚秘籍闯出新蓝海! 下一篇 2025 年 8 月 13 日 下午11:38 相关推荐 行业动态 我在Telegram拉群做精准社群的那些血泪经历 我分享了在Telegram拉群建立精准社群的真实经历,从用户画像、分层策略到活跃运营和私聊转化的血泪经验,让你少走弯路快速建立有价值社群。 siyushenqi.com 2026 年 3 月 6 日 343000 “烤”乡淄博,与跨境电商居然有这样的不解之缘 最近,淄博很火很火,已经霸屏了笔者的朋友圈一个多月了。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 474000 曾登顶全球却沉寂多年 这家老牌厂商用5000万月流水杀回一线 像素风的放置游戏你见过没? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 523000 独立站都火了,你还不会做? 国外疫情的蔓延导致消费者部分线下生活和消费需求转移到线上,成功把跨境电商推向热潮,独立站也跟着火了,很多卖家都开始做独立站。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 418000 行业动态 京东京造第二批AI玩具上线,百元“鹦鹉”服务老年群体,情绪价值成卖点? 百元“唠唠鹉”打响京东京造“普惠AI养老”第一枪。 siyushenqi.com 2026 年 1 月 29 日 399000 行业动态 回顾去年游戏行业,似乎只是手游在经历寒冬 一直以来,游戏业都被认为是一个常青行业,因为无论全球经济形势如何,它都蓬勃发展。 siyushenqi.com 2025 年 8 月 18 日 452000 行业动态 OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源 小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。 siyushenqi.com 2025 年 8 月 13 日 474000 行业动态 Temu在家门口“吃瘪”?卷不过日本百元店? Temu日本站的落地似乎略显仓促 siyushenqi.com 2025 年 8 月 13 日 508000 行业动态 不敌高通的联发科能借AI扳回一城? 联发科在发布会上推出了新一代旗舰移动平台天玑9400,该芯片采用台积电第二代N3E工艺制程,具有显著的性能提升。 siyushenqi.com 2025 年 8 月 13 日 422000 洞察2023 | 社交赛道消费水平逆势增长 直播、游戏社交频现头号玩家 持续增长的消费水平、循序渐进的商业化成果,都让我们对未来保持期待。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 470000 行业动态 投入数亿美元的大模型“对齐”,脆弱得像饺子皮 AI对齐是确保人工智能系统符合人类价值观、拒绝有害行为的关键技术手段。然而,最新研究显示,即使是经过对齐的AI系统也可能极其脆弱,仅通过微小的训练调整就能引发全面的道德崩溃和价值观扭曲,这引发了对AI安全性的深刻担忧。 siyushenqi.com 2025 年 8 月 13 日 446000 行业动态 韩国疫情催热“宅经济”,市场报告揭开有机会打爆的产品…… 6月28日,CJ大韩通运发布了一份《日常生活报告》。 siyushenqi.com 2025 年 8 月 13 日 421000 行业动态 展会前的准备工作和注意事项 近年国内很多企业到国外参加展会,除开拓市场扩大销售以外,还有机会和国外同行面对面接触,了解国外行业发展动态,了解国际用户的需求,对企业来说,意义还是很大的。 参加国外的展会,首先要明确展会的类型,通常分为以下两种: 1、公司单独参加展会。你所在的公司独立作为一个参展机构进行参与; 2、参与商会、行业协会和其他会展公司的团组。 如果是参与第二种方式,那基本上就… siyushenqi.com 2025 年 8 月 13 日 下午11:38 395000 行业动态 雷鸟有了阿里量身定制的通义模型,AI眼镜大战开始结盟了 雷鸟V3 AI拍摄眼镜外观与普通眼镜相似,重量轻,佩戴感接近粗边框眼镜;具备拍照、录像功能,虽然画质与手机有差距,但能满足一般用户需求;更重要的是其AI能力,可翻译多国语言、识别车辆、查看食物配料表等。 siyushenqi.com 2025 年 8 月 13 日 431000 2020年YouTube游戏视频观看时长已高达1000亿个小时! 2020年,在YouTube网站观看游戏类视频的观众人数超过了以往的任何一年。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 463000 行业动态 亚马逊印度公司或不接受现金支付 据竺道资本了解,或许是受到新冠病毒疫情影响,亚马逊印度公司透露,他们正在考虑暂停接受现金支付 siyushenqi.com 2025 年 8 月 13 日 463000 行业动态 ASA投放中,新老产品分别该如何获量 目前Apple Ads已经在中国大陆地区正式开启投放2个月,数以千计的产品投入到了ASA投放的竞争中,亦有不同情况和类型的产品通过ASA完成了用户获取。那么,对于新近上线的产品以及上线推广运营过一段时间的老产品,该如何通过ASA来获量?我们将在本文中进行相关的探讨。 siyushenqi.com 2025 年 8 月 3 日 460000 行业动态 亚马逊和Temu的“互相成就” Temu 希望变得更像亚马逊,以降低供应链风险并提供更快的送货服务,而亚马逊也在竞相复制 Temu,因为它无法忽视这样一个事实:对于一些购物者来说,Temu 的低价胜过亚马逊的便利性。 siyushenqi.com 2025 年 8 月 6 日 427000 在“爷青回”的期待声中回归,《保卫萝卜4》公测首周的成绩如何 国民休闲手游的十年蜕变 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 461000 亚马逊主图视频功能将全面开放? 亚马逊主图视频功能将全面开放”的消息引发不少卖家的关注,尤其是非品牌卖家。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 419000 行业动态 亚马逊接近收购印度信实零售Reliance Retail公司9.9%股份 据竺道资本了解,亚马逊正在就收购Reliance Retail公司9.9%的股份进行高级谈判。 siyushenqi.com 2025 年 8 月 13 日 460000 行业动态 特朗普关税还瞄准Temu和SHEIN 特朗普签署的总统令明确规定800美元以下的小额进口商品也被纳入征税范围。此举被认为是针对Temu、SHEIN等利用小额进口免税政策,在美国市场迅速扩大份额的中国电商…… siyushenqi.com 2025 年 8 月 5 日 384000 行业动态 印度赶超中国,有望成为全球第一大手游市场 外媒PocketGamer认为,中国正离全球头把交椅越来越远,反观印度正在等待时机起飞。 siyushenqi.com 2025 年 8 月 24 日 482000 社交出海转舵做游戏,大佬们靠的是什么? 至于从运用经验再到检验成果,大概需要更长的时间。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 620000 行业动态 如何通过Line矩阵提升外贸营销效果 如何利用数据分析优化营销策略 精准定位目标客户群体 提升客户互动与参与度 增强品牌知名度与信任度 实时监测营销效果 如何利用数据分析优化营销策略 在现代外贸营销中,数据分析已经成为了优化营销策略的核心工具之一。通过对大量数据的收集与分析,企业能够深入了解市场趋势和消费者需求,从而制定更加精准的营销计划。通过数据分析,企业可以识别出哪些营销活动最有效、哪些渠道… siyushenqi.com 2025 年 8 月 13 日 下午11:38 395000 行业动态 还有戏?TikTok电商在印尼迎来一线生机 TikTok电商重回印尼后,如何与本土制造共同发展? siyushenqi.com 2025 年 8 月 12 日 439000 行业动态 京东来了!与Namshi、Emaar合作,正式出海中东电商市场 京东正式与迪拜埃玛尔购物中心(Emaar Malls)以及时尚电商Namshi签署合作伙伴协议,将进入中东市场。 siyushenqi.com 2025 年 8 月 13 日 444000 行业动态 三个月收入狂飙1500万美元,点点互动在“做菜+合成”赛道也跑出来了? Merge-2或将在今年迎来一波小爆发。 siyushenqi.com 2025 年 8 月 15 日 449000 行业动态 日本总务省:中国对ChatGPT等生成式AI应用,全球第一 主要查看了日本公民对ChatGPT、Coplilot、Midjourney、Stable Difusion、Gen-2、MusicGen等10多种生成式AI的应用情况,同时对美国、中国、英国和德国的全球主流使用国家进行了横向调查和对比。 siyushenqi.com 2025 年 8 月 13 日 460000 多款游戏突破TapTap9分,他们立志做出最萌“动物宇宙” 宠物消费市场飞速发展且依然潜力巨大。据艾媒咨询数据,2021年中国宠物行业市场规模预计达到3942亿元。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 498000 发表回复 请登录后评论...登录后才能评论 提交