AI受困于人类数据 siyushenqi.com • 2025 年 8 月 13 日 下午10:16 • 行业动态 • 阅读 425 当前大型模型已逼近“人类数据”边界,唯有让智能体通过与环境实时交互来生成可随能力指数级扩张的原生数据,AI 才能迈入“经验时代” 。 摘要 真正的智能应像婴儿或运动员那样在感知-行动循环中凭第一人称经验自我学习 。 强化学习范例(如 AlphaGo、AlphaZero)已证明从模拟经验到现实经验的演进路径,未来智能体将依靠自生奖励和世界模型实现持续自我提升 。 基于恐惧的“中心化控制”会扼杀创新,多主体维持差异化目标并通过去中心化合作实现双赢,这是人类与 AI 共同繁荣的制度根基 。 面向超越人类的智能体与人机共生的远景,我们应保持理性乐观——这是一场需要几十年耐心长跑的工程,其成败取决于更强的持续学习算法与开放共享的生态。 2025 年 6 月 6 日,第七届北京智源大会在北京正式开幕,强化学习奠基人、2025年图灵奖得主、加拿大计算机科学家Richard S. Sutton以“欢迎来到经验时代”为题发表主旨演讲,称我们正处在人工智能史上从“人类数据时代”迈向“经验时代”的关键拐点。 Sutton指出,当今所有大型语言模型依赖互联网文本和人工标注等“二手经验”训练,但高质量人类数据已被快速消耗殆尽,新增语料的边际价值正急剧下降;近期多家研究也观察到模型规模继续膨胀却收效递减的“规模壁垒”现象,以及大量科技公司开始转向合成数据。 在Sutton看来,要突破这一极限,智能体必须像婴儿学习玩具、足球运动员在赛场决策那样,通过与环境交互不断生成并利用第一手经验,而非单纯模仿人类旧有文本。这一观点呼应了Alan Turing1947年就已提出的预言——“我们想要的是一台能够从经验中学习的机器”——为人工智能奠定了早期哲学基础。Sutton与长期合作者Andrew Barto凭借强化学习框架将这一理念工程化,并因此荣膺2024/25年度图灵奖,强化学习也在AlphaGo、机器人控制等里程碑项目中反复验证其可行性。 他进一步阐释“经验时代”的技术特征:智能体需要在真实或高保真模拟环境中持续运行,用环境回馈而非人类偏好作为原生奖励信号,发展能够长期复用的世界模型与记忆体系,并通过高并行交互大幅提升样本效率。 超越技术维度,Sutton把视角拓展到社会治理,强调“去中心化合作”优于“中心化控制”。他警示,要求用单一目标束缚 AI 的论调与历史上出于恐惧而试图控制人类行为的思路惊人相似;真正的进步源于多元目标并存的生态系统,通过分布式激励与竞争协作保持创新活力。 在他看来,让智能体和人类都保持多样化追求,不仅能降低单点失效与僵化风险,也为未来AI治理提供了更具韧性的框架。 划重点: 当前大型模型已逼近“人类数据”边界,唯有让智能体通过与环境实时交互来生成可随能力指数级扩张的原生数据,AI 才能迈入“经验时代” 。 真正的智能应像婴儿或运动员那样在感知-行动循环中凭第一人称经验自我学习 。 强化学习范例(如 AlphaGo、AlphaZero)已证明从模拟经验到现实经验的演进路径,未来智能体将依靠自生奖励和世界模型实现持续自我提升 。 基于恐惧的“中心化控制”会扼杀创新,多主体维持差异化目标并通过去中心化合作实现双赢,这是人类与 AI 共同繁荣的制度根基 。 面向超越人类的智能体与人机共生的远景,我们应保持理性乐观——这是一场需要几十年耐心长跑的工程,其成败取决于更强的持续学习算法与开放共享的生态。 以下为演讲全文: 从人类数据时代迈向经验时代 刚才听了Bengio教授的演讲,现在确实是AI发展的激动人心的时代。 我想分享两句引言,它们指向了我今天要表达的两个重要观点。第一句来自雷·库兹韦尔:“智能是宇宙中最强大的现象。”这让我们感受到AI的重要性以及今天AI领域正在发生的事情的重要性。 第二句来自阿兰·图灵,他说:"我们想要的是一台能够从经验中学习的机器。"他在1947年伦敦数学学会的演讲中说了这句话。据我们所知,这是有史以来第一次关于人工智能的公开演讲。 当时还没有AI这个领域,我认为这是第一次有人在公开场合展示AI。图灵强调的是一台能够从自己的第一人称经验中学习的机器,这就是我们今天真正在谈论的内容。 现在,我们正处在人类数据时代。我们所有的人工智能都是在人类生成的文本和来自互联网的图像上训练的,然后被人类专家根据他们的偏好进行微调。整个系统都被训练来预测人类的下一个词,而不是试图预测世界。 我认为我们开始达到人类数据的极限,几乎达到这种策略的极限。高质量的人类数据源已经被消耗殆尽,而生成真正新的知识超出了模仿人类的方法范围。要做真正新的事物,必须与世界互动。 因此我们正在进入经验时代。AI需要一个新的数据源,这个数据源会随着智能体变得更强而增长和改善。任何静态数据集都将是不够的。你可以从经验中获得这种数据,从与世界的第一人称互动中获得。 经验意味着从进入传感器和输出到执行器的数据,这是人类和其他动物学习的正常方式。观察一个婴儿与世界互动的例子:它依次与世界的不同部分互动,与不同的玩具互动,试图学习如何使用那些玩具。 注意它正在做出决定来确定自己的输入。它会与一个玩具互动一段时间,直到学会了所有能学的,然后继续前进。随着成长和变得更加复杂,它能从每样东西中学到的量会改变,行为也会不同。它自己的行为决定了它的经验和数据,这就是我们需要的。 再看其他例子,人类和动物在学习,比如踢足球、实现目标。想想流入足球运动员眼睛、耳朵和身体感觉器官的数据:一切都在变化,一切都在快速移动,流入大脑的数据流是巨大的。 运动员无法关注一切,必须做出快速决定来实现目标。这就是足球运动员的生活,或者动物在森林中飞行、逃离捕食者、挥动棒球棒击球或进行对话的生活——都需要高带宽信号处理,这构成了技能、感知和行动。这就是经验,我指的不是任何抽象概念,只是指进出大脑的数据。 数据源会根据大脑的能力变得可变,就像两个游戏系统互动时一样。随着它们的改进,数据也变得更好和不同。这就是AlphaGo学会做出创造性移动的方式——著名的第37手。 这对于从经验中学习至关重要,在这种情况下,经验是通过模拟可能的移动和这些移动的后果产生的。在AlphaProof中也是类似的,这是在国际数学奥林匹克竞赛中获得奖牌的系统。在数学中,你可以看到操作的后果,并向前看很多步。 关于经验思维模式:智能体与世界交换信号,这些就是它的经验,然后从那种经验中学习。更深层的观察是,智能体知道的任何东西都是关于经验的。即使提前给智能体一些知识,它仍然必须是关于经验的——不是关于文字的,而是关于如果要做事情会发生什么。 知识是关于经验的,因此可以从经验中学习。智能体的智能程度取决于它们能够预测和控制其输入信号的程度,特别是奖励信号的预测和控制。 这就是AI应该关注的核心。智能是关于经验的,是所有智能的焦点和基础。强化学习领域就是基于这种思维模式,让智能体成为能够做决定、实现目标、与世界互动的一流智能体。 AI发展的三个时代 我们可以回顾现在所处的时间线。第一个时代是AlphaGo时代、Atari时代,这是模拟时代,强化学习智能体从模拟经验中学习,变得更好,有AlphaGo和AlphaZero这些震撼世界的著名例子。然后我们进入了ChatGPT和大型语言模型的人类数据时代。我们现在可能正处于那个时代的末期,所有数据都来自人类。 接下来我们将进入经验时代,通过与世界互动的经验学习。我们在AlphaProof中看到了这一点的第一个暗示,当大型语言模型现在使用计算机、访问API并实际在世界中采取行动时,我们也看到了这种暗示。 这是我关于AI未来视角的第一点。我的观点是,创造超级智能智能体和超级智能增强人类,对世界来说将是纯粹的好事。我不担心安全问题,不担心失业问题,这只是转型和世界发展的正常部分。我认为这需要时间,需要几十年,并且在那之后还会持续几十年。这是一场马拉松,不是短跑,但我们为此做好准备是明智的。 完全智能的智能体将必须从经验中学习,这超出了我们当前的智能体能力。它们将作为世界知识的可定制接口。我们已经使用强化学习进入了这个新的经验时代。然而,实现其全部力量将需要更好的深度学习算法,这些算法能够持续学习。 去中心化合作与中心化控制的 发展哲学 现在我想转换话题,谈论发展问题。我们必须问这个基本问题:在智能体社会中,是只有一个每个人都分享的目标,还是有许多目标? 作为强化学习研究者,思考智能体问题对我来说很自然。在强化学习中很明显,每个智能体都有自己的目标,有自己的奖励信号进入大脑,试图最大化那个目标。没有理由要求不同智能体的奖励信号必须相同。 在自然界中,每个动物都有类似的信号进入大脑,这实际上是在下丘脑中计算的,包括疼痛传感器和快乐传感器。在AI和自然界中,不同的智能体有不同的目标。我们可以谈论它们如何分享目标,比如每个动物都关心食物,但一个动物的食物不是另一个动物的食物,这些是对称的目标,不是相同的目标。人类也是如此,我们关心自己的家庭、食物和安全,超过共同目标。 反思我们的经济体系如何最好地工作:我认为当人们有不同的目标和不同的能力时,它们工作得最好。目标不必冲突,但可以不同,差异是好的。我们的社会并不真正依赖于人们有相同的目标,而是依赖于人们追求个人角色然后互动。我们社会的明显特点是我们可以和平共存,即使我们都想要不同的东西。我们交易、专业化、互动。 让我做一些定义以便简单讨论。我定义去中心化为这种现象:有许多智能体,每个都追求自己的目标。这与中心化形成对比:许多智能体都被约束为有相同的目标。例如,蜜蜂群是中心化社会,有许多智能体,但它们都在追求蜂巢的目标,蚂蚁也是如此。 去中心化意味着许多智能体,每个都追求自己的目标,每个都被允许有自己的目标。合作是当有不同目标的智能体互动以获得互利时,每个智能体实现自己的目标,并通过互动促进自己的目标,形成双赢关系。这是去中心化的合作。 我认为合作是我们的超能力。人类比任何其他动物合作得更多,合作由语言和金钱促进,这两样东西都是人类独有的。人类最大的成功是我们的合作,比如经济、市场和政府,这些是我们合作的方式。 我们最大的失败是合作的失败,比如战争、盗窃和腐败。去中心化合作是社会组织的另一种观点。在我看来,它比中心化观点更优雅,去中心化合作更强大、更可持续、更灵活,对作弊者和异常值更有抵抗力。 必须承认,我们在合作方面仍然很糟糕。我们仍然有战争、盗窃和欺诈。我们必须努力合作,但合作并不总是可能的。它至少需要两个值得信赖的智能体,总会有一些不值得信赖的。那些从不合作中获得优势的——作弊者、小偷、武器制造商和独裁者,他们从不合作中受益。 合作需要机构来促进它,惩罚作弊者、欺诈者和小偷。中心化权威可以帮助合作,提供促进合作所需的机构。但那些中心化权威也可能在长期内毒害合作,当权威变得专制或僵化时。这种对比就是中心化控制和去中心化合作之间的差异。 如果观察控制AI的呼吁和控制人类社会的呼吁,会发现这两者惊人得相似。 关于AI,有很多呼吁。有暂停或停止AI研究的呼吁,有限制可以用来制造AI的算力的呼吁,有确保AI安全制造和要求披露的呼吁。 与此相似的是控制人类的呼吁。我们时代的大问题包括:言论应该自由吗?人们可以被允许听到其他人的观点吗?我们可以有自由贸易还是必须被控制?如何控制就业?如何控制金融和资本?是否对某些国家实施关税和经济制裁? 这基本上是一个社会问题:我们将如何处理人们有多个不同目标的现实?我们要去中心化吗,还是要朝着中心化控制发展? 中心化控制的呼吁非常相似,都基于恐惧,都基于"我们对他们"的思维。在每个社会中,都有一些不能被信任的人,但也有通常可以被信任的大多数。 总结一下,我认为所有人类和AI的繁荣都来自去中心化合作。人类在合作方面很出色,但也有不足。合作会遇到阻碍和挫折,但它是世界上所有美好事物的源泉。我们必须寻找和支持合作,并寻求将其制度化。 现在,我必须呼吁人类使用自己与世界的经验,用自己的眼睛观察。我认为如果大家这样做,很容易看到谁在呼吁不信任,谁在呼吁不合作。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33184.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 阿里开源新版Qwen3模型,霸榜文本表征 上一篇 2025 年 8 月 13 日 下午10:16 为什么OpenAI们开始化身「购物狂」? 下一篇 2025 年 8 月 13 日 下午10:16 相关推荐 行业动态 第一个吃螃蟹!TikTok Shop能否在海外社交电商撕出一道口子? 2024:TikTok Shop成败在此一举。 siyushenqi.com 2025 年 8 月 12 日 388000 行业动态 “为游戏安装费”致歉,Unity发布声明承诺将听取意见调整收费模式 Unity已在对“新政”进行修改。 siyushenqi.com 2025 年 8 月 19 日 492000 行业动态 LoopMe 任命 Samsung Ads 前高管 Michael Scott 出任首席营收官 LoopMe 持续投资生成式 AI 项目与高级人才。 siyushenqi.com 2026 年 3 月 2 日 313000 2020 年第三季度:《原神》全季度下载量前十,《Pokemon GO》热度最高 2020 年对于移动游戏来说是大获成功的一年,在全球疫情大流行期间,依靠移动游戏消磨时间和与朋友联系的消费者数量创下新高。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 452000 行业动态 前《和平精英》技术策划创业做AI游戏,获得了新投资 奥拓盖母成立于2023年5月,创始人张昊阳是连续创业者,曾涉足VRAR、AI+虚拟偶像领域,后在腾讯《和平精英》任技术策划,负责UGC和AGC模块等,还带领团队制作了《伊甸岛》。奥拓盖母是他第三次创业的公司,专注于AI+游戏赛道,团队成员来自一线游戏项目组及知名高校实验室。 siyushenqi.com 2025 年 8 月 17 日 580000 2021上半年,哪些移动游戏和广告的重点数据值得关注? 日前,AppAnnie发布了《2021年移动游戏解析:子类别、变现和用户获取的主要趋势》报告。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 515000 行业动态 私域神器每周合作精选No.172|休闲游戏海外平台找代理;美国游戏寻FB美区投放方;墨西哥游戏寻求渠道合;招聘广告商务BD 本期精选的合作类型涵盖休闲游戏海外平台找代理;美国游戏寻FB美区投放方;墨西哥游戏寻求渠道合;招聘广告商务BD等。接下来就一起看看吧~ siyushenqi.com 2025 年 9 月 22 日 456000 行业动态 引爆粉丝资源的快速裂变,私域神器系统短视频引流 短视频适应了当今社会的快速发展。你可以随时随地观看,满足现代人的精神需求。 专业研究数据显示,未来四年,“中国广告规模将达到600亿元,是现在的10倍,短期贡献率将从目前的13%上升到63%,是所有渠道中增长最快的。”毫无疑问,空头将在未来的交通中占据关键地位。 互联网最基本的东西是交通业务。在今天流量越来越宝贵的背景下。Short可以在通信中以较低的成本获… siyushenqi.com 2025 年 8 月 13 日 下午10:16 425000 行业动态 一周要闻NO.135丨DeepSeek成春节档最大赢家;美国社交巨头为何难敌TikTok;OpenAI估值有望达3000亿美元 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 451000 行业动态 AI改变华强北了吗? 2024年,AI硬件成为新的产业风口,华强北商家迅速响应,AI翻译机、AI鼠标等产品成为新的人气商品。 siyushenqi.com 2025 年 8 月 13 日 394000 行业动态 Flipkart向旗下时装电商平台Myntra投入17.5亿卢比新资金 近日,印度最大的电子商务零售商Flipkart向旗下时装电商平台Myntra投入了17.5亿卢比的新资金 siyushenqi.com 2025 年 8 月 13 日 462000 行业动态 2025,长剧VS短剧,究竟是谁抢赢了市场? 2025年短剧市场规模突破千亿,年产3.3万部;长剧根基稳固,头部分账超5亿。2026年预计短剧增长20%,长短剧将差异化竞争、协同共生。 siyushenqi.com 2026 年 2 月 10 日 443000 行业动态 Temu 起盘动线和战略推导:后发先至,破坏创新 这个赛道只有破坏创新,组织执行到位,才有机会“后发先至” siyushenqi.com 2025 年 8 月 6 日 480000 东南亚新品买量观察:RPG手游居多,《Metamorph M》、《上古王冠 新马版》买量分析 App Growing Global 对东南亚市场的新投放手游进行排名并分析。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 440000 行业动态 涉嫌窃取Nexon游戏机密,《Project KV》开发商遭韩国警方调查 韩国游戏公司Dynamis One因涉嫌泄露Nexon Games未公开项目,遭到韩国警方立案调查。首尔警方于2月24日搜查了Dynamis One的办公楼,并扣押了相关资料。 siyushenqi.com 2025 年 8 月 17 日 415000 行业动态 阿里新一代AI芯片,剑指英伟达 阿里推出新一代 AI 推理芯片,兼容主流框架(PyTorch/TensorFlow),瞄准填补 Nvidia H20 在中国留下的市场空档。 siyushenqi.com 2025 年 9 月 1 日 550000 行业动态 官方出品,OpenAI手把手教你写,ChatGPT提示词 用户反映使用ChatGPT等AI产品时,内容生成效果不理想,尤其是在论文写作等高频使用场景。为了提高效率,建议使用OpenAI提供的文本提示教程来更好地挖掘ChatGPT的潜力。 siyushenqi.com 2025 年 8 月 13 日 393000 究竟,什么是暗黑美学? “欢迎来到神秘奇幻的暗黑世界。” siyushenqi.com 2025 年 8 月 24 日 • 行业动态 478000 行业动态 字节、腾讯争夺AI分发权 热闹是“扣子”和“腾讯元器”的,微软和OpenAI什么也没有。 siyushenqi.com 2025 年 8 月 13 日 459000 行业动态 WhatsApp绿标号认证流程最新政策解读(2024) WhatsApp绿标号政策背景与核心目标 2024年认证流程的关键更新 多样化验证机制的实际应用 企业信任度与用户安全性的双重提升 企业实施与合规操作建议 常见问题 随着全球即时通讯平台在商业沟通中的角色不断加深,账号真实性与安全性已成为平台治理与企业运营中的关键议题。WhatsApp 作为高频使用的跨境沟通工具,其“绿标号”认证体系被广泛视为企业官方身份的… siyushenqi.com 2025 年 8 月 13 日 下午10:16 425000 行业动态 跨境电商Jollychic:做「中东版阿里」,打造电商基础设施全生态 在全球来看,中国的电商是最发达的,中国有最丰富的供应链,更重要的是,中国有最多种类的电商平台。 siyushenqi.com 2025 年 8 月 13 日 434000 行业动态 Kimi和DeepSeek又又又撞车? DeepSeek在5月招聘以医学方向为主的百晓生,与Kimi在医疗赛道的布局相似。两者都曾瞄准法律赛道,Kimi在2024年曾保持Web端用户量第一,拥有大量专业用户。DeepSeek与Kimi在垂直领域的发展策略相似,都试图通过提升专业内容索引减少模型幻觉,满足专业用户需求。 siyushenqi.com 2025 年 8 月 13 日 402000 行业动态 万事达卡将推出加密货币P2P 支付平台,可实现14国跨境支付 P2P平台的推出是支付公司推动利用数字资产进行跨境支付的一部分,而跨境支付是一个不断发展的支付服务领域。 siyushenqi.com 2025 年 8 月 6 日 423000 腾讯是佛系股东?九城携手Voodoo、育碧洽谈Ohayoo 9月21日,第九城市(以下简称 九城)发布公告称,已经与全球小游戏之王、法国游戏开发及发行商voodoo签订合作协议 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 445000 2024年Gmail邮箱注册保姆级良心教程 2024年Gmail邮箱注册保姆级良心教程 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 462000 行业动态 《完蛋!我被美女包围了》是怎么成为年度“科幻”游戏的?|年度专访 用心讲好故事,总会是“硬道理”。 siyushenqi.com 2025 年 8 月 18 日 493000 行业动态 洞见社交/AI/内容融合新生态、玩转移动应用出海新增长:12月11日,我们深圳见! 12月11日·深圳市·深圳湾万怡酒店4F,《全球移动应用出海增长峰会》期待您的莅临! siyushenqi.com 2025 年 12 月 8 日 333000 行业动态 OpenAI发布白皮书:如何在AI时代保持领先 2025年AI进步速度已超越摩尔定律,早期采用AI的企业收入增速比同行快1.5倍,但多数企业仍难以跟上技术落地节奏。 siyushenqi.com 2025 年 9 月 5 日 577000 测试版就得到TapTap9.4分的《山河旅探》,究竟好在哪? 7月23日,由奥秘之家研发的一款国风本格推理游戏在TapTap平台上开启了安卓和iOS双平台测试,截至目前TapTap上的评分已经达到了9.4分。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 472000 行业动态 又一波!亚马逊多站点新增收费 5月初,亚马逊公布了美国站各类目的退货率阈值及退货处理费的收费标准,超出阈值的退货商品面临每件至少约2美元的处理费,产品尺寸越大收费越高,一时间沸反盈天。 siyushenqi.com 2025 年 8 月 6 日 422000 发表回复 请登录后评论...登录后才能评论 提交