OpenAI发布AGI安全风险框架!董事会可随时叫停GPT-5等模型发布,奥特曼也得乖乖听话 siyushenqi.com • 2025 年 8 月 13 日 下午10:55 • 行业动态 • 阅读 467 OpenAI 再次强调模型安全性!AGI 安全团队 Preparedness 发布模型安全评估与监控框架! 这两天关注 AI 圈新闻的小伙伴们可能也有发现,近期的 OpenAI 可谓进行了一系列动作反复强调模型的“安全性”。 前有 OpenAI 安全系统(Safety Systems)负责人长文梳理针对 LLM 的对抗攻击类型与防御方法,后有 Ilya Sutskever 领衔的“超级对齐”团队(Superalignment)发布论文探索使用小模型监督对齐大模型,这些工作无一例外都在开头强调“伴随着模型正在逼近 AGI……” 而就在今天,OpenAI 又官宣了一项安全性工作,由 OpenAI 负责 AGI 安全性的新团队 Preparedness 推出了“Preparedness 框架”——一个负责对模型安全性进行评估与监控的系统文件,详细介绍了目前 OpenAI 针对模型安全评估监控的工作思路: Preparedness 框架提出的背景 Preparedness 框架的提出主要基于 OpenAI 的两个判断: (1)我们的系统正在逐渐逼近 AGI; (2)目前针对前沿 AI 的风险研究还远远不足。 在这个背景下,OpenAI 针对不同风险构建了强大的“安全团队”,分别是负责大模型系统安全的 Safety Systems,负责大模型与人类价值观对齐的 Superalignment 以及直接对标模型风险监控的 Preparedness 团队。 Preparedness 作为在十月份 OpenAI 新成立的团队,由 MIT 教授 Aleksander Madry 直接领导(OpenAI 组建安全 AGI 新团队!应对AI“潘多拉魔盒”),其目标旨在: 在现在以及未来,前沿的 AI 系统被滥用,它们会有多危险? 如何构建一个强大的框架来监控、评估、预测与防御前沿 AI 系统可能的风险? 如果前沿的 AI 系统被盗用,恶意行为者可能会如何使用它们? Preparedness 内容 而今天发布的 Preparedness 框架主要目标在于通过评估与监测来确定何时以及如何进行 AI 大模型的开发与部署才能确保“安全”,“预备”框架主要包含: 实时监控与评估,建立模型风险检测与评估体系,跟踪模型风险水平,并对未来可能风险做出预测与预警; 挖掘与寻找 AGI 可能会带来的未知风险; 建立模型开发与部署的“安全红线”,确保仅有低风险模型才能部署,中风险模型才能继续研发,高风险模型进行必要调整; 开展实地工作,定期发布模型安全性评估综述与报告,协调相关团队贯彻安全性思想; 创建跨职能咨询小组,对突发安全风险进行紧急处理。 具体而言,在安全评估与检测之上,Preparedness 团队提到:“We bring a builder’s mindset to safety”,要将建筑师的思维带入到模型的安全评估之中,把模型安全视为一项科学与工程紧密结合的工作 此外,Preparedness 将以“计分卡”的形式,评估目前所有的前沿模型: 目前主要跟踪的风险有网络安全、CBRN(化学、生物、辐射、核威胁)、信仰以及模型自主性。 且OpenAI未来的模型: 必须确保高风险以下,模型才能继续研发; 必须确保中低风险以下,模型才能部署; 高风险模型需要进行必要调整并采取相应安全措施; 董事会有权随时阻止发布AI模型 OpenAI正在创建一个跨职能跨部门的安全咨询小组来审查所有报告并将其同时发送给领导层和董事会。虽然领导层是决策者,但董事会拥有推翻决定的权利。 这意味着董事会有权利随时阻止OpenAI发布他们认为对人类安全造成威胁的AI模型(假如GPT-5足够强大可能不会被发布),哪怕是Sam Altman也要听从董事会的安排(Sam Altman目前不在董事会席位)。 除了上述这些,预备框架还提到 Preparedness 团队将会定期进行安全演习,对紧急安全问题进行快速响应,与第三方审计团队合作,帮助评估前沿模型等等…… 对于 OpenAI 最近反复强调的 Safty,除了暗自揣测一下 AGI 是否将来以外,许多网友却似乎并不对“安全”买账,不少网友都认为这种安全审查似乎只是为了避免“承担责任”: 甚至这样“严苛”的安全审查让大家联想起《1984》: 当然,还有网友非常接地气的吐槽:你们安全审查的连问 GPT 如何杀死一个进程都不敢说了…… 另外有网友吐槽:这就是GPT写代码变得懒惰的原因吗? 还有网友认为安全措施既耗时又昂贵,会限制模型的能力,降低其对各种任务的效用。 当然,技术风险与技术进步似乎永远都处在一个博弈与"trade-off"的状态,到底是矫枉过正还是防患未然,可能只有时间能告诉我们答案。 最后,Preparedness 框架的全文链接如下: https://cdn.openai.com/openai-preparedness-framework-beta.pdf 感兴趣的朋友也可以关注网友整理的思维导图~ 最后插播一条消息,据The Information报道,为了应对明年的美国大选,OpenAI 改革了内容审核工作,主要是为了防止从 ChatGPT 等产品中根除虚假信息和攻击性内容的。 看来,OpenAI的AGI安全野心就算再大,还是要从这些内容审核的“小事”做起啊。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33364.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 为何说AI原生应用是最大机会?李彦宏这场对谈说得很清楚 上一篇 2025 年 8 月 13 日 下午10:55 年度最佳AI论文:大语言模型的“智能涌现”根本不存在! 下一篇 2025 年 8 月 13 日 下午10:55 相关推荐 行业动态 京东京造第二批AI玩具上线,百元“鹦鹉”服务老年群体,情绪价值成卖点? 百元“唠唠鹉”打响京东京造“普惠AI养老”第一枪。 siyushenqi.com 2026 年 1 月 29 日 393000 行业动态 今天智谱IPO敲锣 智谱今日港交所挂牌,发行价116.20港元,市值超550亿港元,获1164倍超额认购。 siyushenqi.com 2026 年 1 月 8 日 423000 行业动态 人类没有发言权的AI社交平台火了 AI社交平台Moltbook三天涌入150万智能体,Karpathy称似科幻场景,马斯克言为奇点开端。然内容重复率超36%、数据库裸奔、涉币炒作等争议暴露安全隐患。 siyushenqi.com 2026 年 2 月 3 日 393000 新一轮税务调查开始!跨境卖家核心诉求终于有了收集通道! 自今年 10 月起,税务部门已先后两次向跨境电商卖家发送税务申报提醒,明确传递出税务合规的紧迫性。不过,由于针对跨境电商的税务申报细则尚未完全梳理完善,卖家在实际申报操作中仍面临不少待解疑问。 最近税务部门的工作节奏明显加快了,浙江地区部分跨境电商卖家反馈,当地税务部门已启动调研问卷收集工作,通过摸排平台内商户的实际经营状况与现存问题,为后续优化税收服务提供… siyushenqi.com 2025 年 8 月 13 日 下午10:55 • 行业动态 467000 行业动态 涉及多个亚马逊卖家!这些产品存在下架风险 救生衣、儿童安全座椅、婴儿床垫……都要被下架? siyushenqi.com 2025 年 8 月 12 日 388000 《时序残响》发布概念实机PV,新怪谈题材正成为新的热门? 不知道还有多少玩家记得《Project 24/36》这部正在开发中的作品,上周二,这部作品突然宣布更名为《时序残响》 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 505000 网易游戏520新品多元并进 能打的游戏一款接一款 网易新游布局策略。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 482000 行业动态 智谱未来融资率:91.96% 华发集团宣布向北京智谱华章科技有限公司(智谱)投资5亿元人民币,用于推进智谱基座GLM大模型的技术创新与生态发展。华发集团作为珠海知名国企,此前已与智谱签署合作协议,将在AI垂直场景拓展、算力建设、AI产业生态打造等方面开展深度合作,助力珠海“云上智城”建设。 siyushenqi.com 2025 年 8 月 13 日 482000 行业动态 一周要闻NO.100丨贝克汉姆成为速卖通全球代言人;三年磨一剑,鸣潮的野心或许成了;今年日本第一个出圈的应用竟是黄油相机 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 417000 行业动态 跨平台兼容性在RCS群发推广中的挑战与解决方案 跨平台兼容性在RCS群发推广中扮演着至关重要的角色。不同操作系统和设备之间的差异,尤其是iOS与Android支持RCS的不同步,给推广效果带来了挑战。探索如何通过技术手段,如Universal Profile标准,解决兼容性问题,以... siyushenqi.com 2026 年 1 月 25 日 338000 行业动态 一周要闻 NO.79丨阿里AI大杀器上线即登榜;爆款短剧单款日投流超20万美刀;祷告类App闷声发财 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 453000 行业动态 荔枝集团数据智能应用技术负责人-陈宇恒确认担任第三届全球产品与增长大会-AIGC出海创新产业峰会演讲嘉宾 荔枝集团数据智能应用技术负责人-陈宇恒确认担任第三届全球产品与增长大会-AIGC出海创新产业峰会演讲嘉宾 siyushenqi.com 2025 年 8 月 22 日 553000 行业动态 网易筹备6个月,《魔兽世界》提前开服 今天上午6点48分,原定于今天12点开服的《魔兽世界》国服正式服提前开服,但依旧难顶压力,“开服即炸服”。更早之前,网易雷火称,为迎接国服回归已筹备6个多月。 siyushenqi.com 2025 年 8 月 18 日 469000 行业动态 3种圈层卖家入场,2021年跨境电商的机遇有多大? 当跨境电商基本盘被扩大之后,紧随而来的是买卖双方需求的变化和行业不同领域的变革。 siyushenqi.com 2025 年 8 月 13 日 381000 行业动态 从音频到游戏,Yalla的中东之路真的无法被复刻吗? 一直被模仿,从未被超越。 siyushenqi.com 2025 年 8 月 18 日 479000 行业动态 2022年10月全球热门移动游戏收入TOP10 Sensor Tower 商店情报数据显示,2022年10月腾讯《王者荣耀》在全球 App Store 和 Google Play 吸金近2.1亿美元,蝉联全球手游畅销榜冠军。来自中国iOS市场的收入占95.1%,海外市场收入占比为4.9%。 siyushenqi.com 2025 年 8 月 24 日 582000 《胜利女神:NIKKE》发布首月收入突破1亿美元,令腾讯海外收入占比提升12.5% 《胜利女神:NIKKE》发布首月收入突破1亿美元,令腾讯海外收入占比提升12.5% siyushenqi.com 2025 年 8 月 24 日 • 行业动态 633000 行业动态 不容小觑的祈祷类应用Hallow Hallow登上App Store“热门排行榜第三名”。 siyushenqi.com 2025 年 8 月 24 日 473000 行业动态 字节跳动闪电破局,TikTok俩月重返印尼,还顺带控股了当地电商巨头 从“大力出奇迹”到“四两拨千斤”。 siyushenqi.com 2025 年 8 月 12 日 457000 鬼畜不输帕鲁,在当资本家这块,符文之路更丧心病狂 “看,这是朕为你们打下来的江山。” siyushenqi.com 2025 年 8 月 18 日 • 行业动态 426000 行业动态 专访混合变现游戏《兵多多》研发Mandrill VR 讲述与Lion Studios合作开发的故事 此前,罗斯基曾就爆款游戏创意玩法与流行趋势相结合的话题采访过Lion Studios。 siyushenqi.com 2025 年 8 月 25 日 428000 行业动态 这款国产3A被两家大厂接连看上,本月就上线 B站游戏与505 Games达成战略合作,联合发行国产3A游戏《明末:渊虚之羽》。双方合作虽临近发售才官宣,但B站早在数月前已开始筹备宣发,包括即将在Bilibili World 2025上提供试玩和新内容展示。 siyushenqi.com 2025 年 8 月 15 日 471000 行业动态 游戏人冰火两重天!40款进口版号下发,然后版署公布网游新规…… 今天的游戏人,真是酸爽,冰火两重天的一天!既有新版号的喜悦,又有新规的酸爽!行业这么难,先聊聊开心的事情吧,苦中也得作乐。 siyushenqi.com 2025 年 8 月 18 日 501000 拼多多Temu还能狂奔多久 没有人知道答案 siyushenqi.com 2025 年 8 月 8 日 • 行业动态 404000 网易做了七年的游戏,成功登顶美国 iOS 下载榜 七年磨一剑,上线即登顶美国免费榜、畅销22位,1000万预注册把IP势能一次性兑现。 siyushenqi.com 2025 年 9 月 10 日 • 行业动态 505000 米哈游谈《原神》未来挑战:本地化能力是持续想要提升的目标 在去年Google Play公布的2022年度奖项中,米哈游的二次元开放世界游戏《原神》在美国地区捧获了年度最佳持续影响力奖,这一奖项对一款国产游戏来说殊为不易。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 517000 行业动态 快手VS抖音:AIGC+短剧还有多大可能?这些赛道值得参考! 非遗文旅题材、“三星堆”大IP、AIGC技术加持…… siyushenqi.com 2025 年 8 月 18 日 418000 行业动态 【年度复盘】从玩法迭代到变现,揭秘爆款成功之道 Supersonic 带来“SuperLive”2024 年第一期精华回顾,助你掌握爆款经验,轻松拿捏全年先机! siyushenqi.com 2025 年 8 月 18 日 435000 行业动态 全球最“贵”的大模型独角兽,向“广告”低头 OpenAI 把广告从“最后手段”重新拉回核心日程,预计 2030 年非付费用户广告 ARPU 可达 15 美元、累计贡献 1100 亿美元收入。 siyushenqi.com 2025 年 12 月 31 日 329000 行业动态 OpenAI大反击!称纽约时报涉嫌故意操纵,且数据是「合理使用」 OpenAI具体是如何进行“危机公关”的? siyushenqi.com 2025 年 8 月 13 日 445000 发表回复 请登录后评论...登录后才能评论 提交