吊打斯坦福炒虾机器人!GPT-4加持Alter3扮鬼玩吉他,Figure 01看视频学会煮咖啡 siyushenqi.com • 2025 年 8 月 13 日 下午10:57 • 行业动态 • 阅读 417 机器人的ChatGPT时刻,真来了!初创公司Figure自家机器人看了10小时视频,学会了煮咖啡。另一边,东京大学GPT-4加持的Alter3机器人,能够模仿人类做出任何动作。而人类只需发出自然语言指令即可,完全不需要编程! 机器人,本周果然迎来了ChatGPT时刻! 初创公司Figure,就做出了一个能学人类煮咖啡的机器人。 就在昨天,Figure创始人在社交平台上,提前预告了自家实验室取得的重大突破。 而东京大学则让GPT-4和仿人机器人Alter3相连。 人类只要给出自然语言命令,GPT-4就能把这些指令转换为可执行的代码,让机器人模仿人类做出任何动作,包括弹吉他、自拍、扮鬼等等,甚至还能去电影院偷别人的爆米花。 心情很闲适,喝杯茶。 拿着吉他玩摇滚。 假装我是一条蛇。 来张自拍,像网红们一样摆出俏皮浮夸的表情。 在电影院边吃爆米花边看电影,忽然发现,自己吃的是别人的爆米花,顿时尴尬地笑起来。 看人类煮咖啡10小时,学会这项技能 名叫Figure 01的这个机器人,采用的是端到端的人工智能系统。 它只需观察人类煮咖啡的录像,就能在10小时内学会制作咖啡的技能。 这个机器人是通过神经网络来处理和分析视频数据的。通过观看录像,它能够学会人类的动作和手势,然后模仿这些动作,来学习制作咖啡的过程。 这个过程证明了,无需通过编程,机器人完全可以自主学习技能! 只要跟它说:Figure 01,你可以帮我做一杯咖啡吗? 它就会把咖啡胶囊放入机器内,用手按按钮,过不了多久,一杯香气四溢的咖啡就做好了! 这个过程中难能可贵的一点是,机器人能学习如何改正自己的错误,比如咖啡胶囊放得不对,它就会矫正自己。 Brett Adcock解释了视频数据训练为何如此重要的原因。 之所以说这具有开创性意义,是因为如果你能获得某个应用的人类数据(如煮咖啡、叠衣服、仓库工作等),就可以在Figure 01的基础上对AI系统进行端到端的训练。 这是可以扩展到每种应用的一种方式。当机器人数量扩大时,从机器人群中收集更多数据,重新进行训练,机器人就能实现更好的性能。 值得一提的是,许多网友对机器人冲咖啡的速度表示惊讶。官方对此回应称,视频并没有加速。 东京大学的扮鬼机器人 而东京大学的这个人形机器人,之前就曾经因栩栩如生的「扮鬼」行为而出圈过。 东京大学的研究人员,把这个叫做Alter3的仿人机器人和GPT-4相连。 利用指令,它就可以完成一系列人类行为,比如弹吉他、自拍、扮鬼等等,甚至可以去电影院偷吃别人的爆米花。 这个过程中,LLM将书面指令转换为可执行的代码,从而让机器人模仿出多种人类的动作。从视频效果上看,属实是吊打了最近风头正劲的斯坦福家务机器人。 也就是说,Alter3之所以能戏精上身,将「鬼」模仿得如此出神入化,还是因为GPT-4的prompt给得好啊! 「0 创造恐惧的睁大眼睛的面部表情,张开嘴巴发出无声的尖叫」, 「1 迅速向后倾斜,仿佛被突然的幻影吓了一跳」, 「2 举起双手,在脸上挥舞,模仿幽灵般的动作」, 「3 张大嘴巴摇头,表现出恐惧的戏剧性反应」, 「4 将上半身从一侧移动到另一侧,仿佛被幽灵的存在所困扰」, 「5 双手握在胸前,表现出极度焦虑」, 「6 眼睛从一边瞟到另一边,仿佛目睹了一场诡异的活动」, 「7 先前倾,然后后倾,模仿鬼魂的漂浮动作」, 「8 慢慢回到休息位置,同时保持惊恐的表情」 通过代码,将人类动作映射到机器人身上 Alter3是怎样使用LLM生成自发运动的呢? 具体过程,就是将GPT-4集成到了Alter3中,从而有效地将GPT-4与Alter的身体运动结合起来。 通常,低级机器人控制是依赖于硬件的,这超出了LLM语料库的范围,这给直接基于LLM的机器人控制带来了挑战。 不过,研究者在Alter3上,实现了突破——通过程序代码,他们将人类动作的语言表达映射到机器人的身体上,这就让直接控制变得可行了。 这种方法无需对每个身体部位进行显式编程,直接就可以让Alter3采用各种姿势,比如自拍或扮鬼,还能随着时间的推移生成一系列动作。 这充分证明了机器人的零样本学习能力。 甚至,口头反馈都可以调整机器人的姿势,无需微调。 比如,用GPT-4告诉机器人,「播放金属音乐」,它就接收到了信息,开始有模有样地弹起了电吉他,脑袋还跟着节奏晃动。 「0 创造一种强烈兴奋的面部表情,睁大眼睛,微微张开嘴巴,露出狂野的笑容」, 「1 积极地向前倾斜,仿佛准备潜入音乐中」, 「2 模仿左手握住吉他琴颈的动作」, 「3 用右手开始弹奏空气,仿佛在演奏沉重的即兴演奏」, 「4 有节奏地上下摇晃头部,模仿与金属音乐相关的甩头动作」, 「5 举起左手,仿佛伸手去弹更高的吉他音符,眼睛锁定在想象中的指板上」, 「6 用右手模仿戏剧性的吉他弹奏,仿佛击中有力的和弦」, 「7 右手在假想的吉他弦上慢慢扫过,模仿吉他独奏」, 「8 模仿将想象中的吉他砸在地板上的动作,体现金属音乐的狂野精神」, 「9 逐渐恢复到休息姿势,但保持激烈的面部表情,表现出挥之不去的兴奋」 LLM把人类从迭代工作中解放出来 在LLM出现之前,为了让机器人模仿一个人的姿势,或者及假装一种行为,比如端茶、下棋,研究人员必须按照一定的顺序控制所有的43个轴。 这个过程中,需要人类研究员手动进行许多改进。 多亏了LLM,现在人类研究者可以从迭代的工作中解放了出来。只要使用口头指令,就能控制Alter3的程序了。 研究者先后应用两个用自然语言编写的思维链协议,并不需要学习过程的迭代(也就是零样本学习)。 如图所示,研究人员使用了以下协议。 需要注意的是,GPT-4是非确定性的(non-deterministic),即使在$$temperature=0.$$时也是如此。 因此,即使输入相同,也可以产生不同的运动模式。 使用口头指令控制Alter3人形机器人的程序。通过使用Prompt1、2输出python代码,从而使用自然语言控制Alter3,这个架构是基于CoT的 语言反馈 Alter3无法观察自己的世代对任何物理过程产生的影响,这在人类意义上是非常不自然的。 因此,Alter3无法准确理解「手举多高」等细节,也就无法相应地改进自己的动作。 通过经验性地通过反馈来开发和利用外部记忆,Alter3的身体模型可以与GPT-4集成,而无需更新其参数。 现在,Alter3可以根据人类的语言反馈重写代码。 比如,用户建议「自拍时手臂抬高一点」,然后Alter3就可以将修改后的动作代码作为动作记忆存储在数据库中。 这样就能确保下次生成该动作时,机器人会使用经过改进和训练的动作。 通过这种反馈,机器人就积累了有关自己身体的信息,记忆就可以有效地充当一个身体图示。 上图说明了Alter3中的语言反馈系统。 这个过程中,用户会提供语言反馈,来指导Alter3在每个运动分段中的调整,比如「将轴16设置为255」或「更有力地移动手臂」。 在这个过程中,用户只需提供口头指令,无需重写任何代码,然后,Alter3就会自动修改相应的代码。 一旦动作被完善,它就会被保存在一个带有描述性标签的JSON数据库中,例如「握住吉他」或「深思熟虑地敲击下巴」。 对于使用prompt2生成动作,JsonToolkit有助于数据库搜索这些标签,LLM会决定内存使用和新动作的创建。 \textbf{(b)}比较有反馈和没有反馈的分数,有反馈的运动比没有反馈的运动得分更高。 结果 为了量化GPT-4生成动作的能力,研究人员评估了9种不同生成动作的视频,将其分为两类。 第一种情况是「即时手势」,包括「自拍」和「喝茶」等日常动作,以及「扮鬼」和「扮蛇」等模仿动作。 第二种情况是一段时间内的动作,包括更复杂的情景。就比如「在影院边吃爆米花边欣赏电影时,发现自己吃的其实是旁边人的爆米花」这样的尴尬情节,以及「在公园里慢跑时,世界似乎在讲述一个古老的生存故事,每一个脚步声都回荡着亘古不变的存在」这样的情感场景。 这些动作均由GPT-4生成。提示1的温度设置为$0.7$,提示2的温度设置为$0.5$。受试者($n=107$)是通过Prolific平台招募的。 他们观看了这些视频,并对GPT-4(gpt-4-0314)的表达能力进行了评估(评估采用5级评分法,1为最差)。 在对照组中,研究人员采用了Alter3的随机动作,并附加了由GPT-4生成的随机动作符号作为这些动作的标记。 这些贴有标记的对照视频被巧妙地纳入调查,其中3个被分散在向参与者展示的主要实验视频中。 为了确定对照视频与其他视频之间的评分是否存在显著差异,研究团队首先采用了弗里德曼检验法(Friedman test)。结果显示,不同视频之间的评分存在明显差异。使用奈曼尼检验(Nemenyi test)进行的进一步事后分析表明,虽然对照组视频之间的p值没有显著差异,但对照组与其他视频相比,p值明显更小,这表明存在显著差异(见图)。 因此,与对照组相比,GPT-4生成的动作评分明显更高。这表明,GPT-4生成的android动作与对照组的感知不同。这一结果表明,该系统可以生成各种动作,从自拍、喝茶等日常动作到模仿鬼或蛇等非人类动作。 每个动作的平均评估分数 LLM的训练包括一系列动作的语言表征。GPT-4可以将这些表征准确地映射到Alter3的身体上。 最值得注意的是,Alter3是一个与人类形态相同的仿人机器人,这使得GPT-4可以直接应用有关人类行为和动作的丰富知识。 此外,通过Alter3,LLM可以表达尴尬和喜悦等情绪。 即使在没有明确表达情绪的文本中,LLM也能推断出适当的情绪,并在Alter3的表现中反映出来。这种语言和非语言交流的整合可以增强与人类进行更细致入微、更富同情心的互动的潜力。 LLM可以推动具身智能 Alter3如此高能的演示,回答了「具身智能对于LLM是否是必要的」这个问题。 首先,Alter3不需要额外的训练就能完成许多动作。这意味着,训练LLM的数据集已经包含了动作描述。 也就是说,Alter3可以实现零样本学习。 此外,它还能模仿鬼魂和动物(或模仿动物的人),这一点非常惊人。 甚至,它还能理解听到的对话内容,并通过面部表情和手势反映出故事是悲伤还是快乐。 至此,Alter3通过LLM获得的加持,已经非常明显了。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33415.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI画中国退休老太太微博大火!「傻鹅之王」和快乐小狗挑战GPT-4想象力极限 上一篇 2025 年 8 月 13 日 下午10:57 OpenAI大反击!称纽约时报涉嫌故意操纵,且数据是「合理使用」 下一篇 2025 年 8 月 13 日 下午10:57 相关推荐 前5分钟都留不住玩家,现在的游戏新手教程到底差在哪? 玩家首次进入游戏的第一印象至关重要,它决定了玩家会不会留下,后续口碑传播后又会对新进产生重要影响,我们习惯的称这部分为新手引导。 长篇大论式的、填鸭教学式的、满屏红点式的(哪里亮点哪里),让玩家苦不堪言,想快速跳过。 本文将以另一个视角切入——“玩家首次体验”(FTUE-First Time Users Experience),从常见问题出发,系统的介绍了FTUE设计方法,帮助我们更好的设计玩家首次体验,代入玩家、击中玩家、留住玩家。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 489000 阿里互娱第2款SLG又测试了 上周,阿里互娱的《代号S6》开启了新一轮测试。游戏制作人陆焕浩曾就职于网易银河工作室,参与过制作三国题材的MOBA网游《英雄三国》,加入阿里互娱后负责制作这款SLG新作。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 487000 行业动态 字节抢攻海外AI生图赛道,旗下创作工具登多国谷歌设计榜TOP1 2026年,字节的AI出海又加速了。 siyushenqi.com 2026 年 1 月 7 日 469000 行业动态 “热”了三年的短剧,依然有新增长机会可寻 2024年开年以来,短剧制作成本不断上升,行业竞争加剧,从业者们亟需新的渠道和增长点。 siyushenqi.com 2025 年 8 月 18 日 492000 DeepSeek连夜改页面,免费的AI用不长了 DeepSeek上线分层模式界面,推出快速与专家模式应对算力压力。行业普遍面临token消耗激增与成本管控难题,从免费烧钱转向精细化运营成为大模型公司新趋势。 转自扬帆出海 2026 年 4 月 10 日 • 行业动态 234000 行业动态 今天,电竞世界杯首个项目诞生!国服已开启测试 决胜巅峰加入电竞世界杯 siyushenqi.com 2025 年 8 月 18 日 438000 行业动态 漫剧启示录:互联网最差的生意,可能是AI最好的生意 "下一个字节跳动”正在此中酝酿。 siyushenqi.com 2025 年 11 月 26 日 408000 行业动态 重磅发布|100页《2026 全球数智营销生态手册》正式上线!解码从 “买流量” 到 “建能力” 的跃迁密码 MORKETING 研究院正式发布《2026 全球数智营销生态手册》,以十万字级深度内容、30 + 标杆案例、五大核心篇章,为品牌提供一套覆盖趋势、方法、案例、工具的全景式增长指南! siyushenqi.com 2026 年 3 月 18 日 234000 行业动态 押注谷歌Gemini,苹果官宣Siri大升级 苹果正式牵手谷歌,多年合作协议落地。 siyushenqi.com 2026 年 1 月 15 日 364000 西班牙电商平台排名,你知道几个? 亚马逊西班牙站的总流量达到了惊人的6860万次,无疑是西班牙电商平台流量的领头羊。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 417000 《2022上半年热门手游市场洞察》- RPG、策略手游收入最高,超休闲手游下载量增长最明显 2022年1月至5月期间,全球手游市场收入为348亿美元,在疫情之后首次出现同比下降 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 454000 行业动态 长剧低迷拖累毛利下滑,阅文尝试押注AI漫剧 阅文2025年营收73.66亿降9.3%,净利降24.8%;在线业务微增,IP衍生品GMV破11亿,AI漫剧半年收超1亿成新增长点。 转自扬帆出海 2026 年 3 月 23 日 206000 做了10多年二次元的老牌厂商,一出手就是一款“经费燃烧”的力作 做游戏,不要钱的吗? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 456000 行业动态 GICC2025 | 年度重磅奖项——金帆奖申报计划正式启动! GICC | 2025金帆奖,邀您共鉴百大出海先锋力量。 siyushenqi.com 2025 年 9 月 5 日 514000 行业动态 出海成交转化提升:渠道与落地页协同优化 优化渠道策略 提升落地页设计 增强用户体验 数据驱动决策 A/B测试效果 优化渠道策略 在出海过程中,选择合适的渠道是提升成交转化的首要步骤。不同市场的用户习惯和偏好各不相同,因此在渠道选择时,需要进行细致的市场分析,并通过数据驱动的决策来优化渠道布局。例如,针对欧美市场,社交媒体平台如Facebook和Instagram的广告投放效果良好,而在东南亚地区,… siyushenqi.com 2025 年 8 月 13 日 下午10:57 417000 一口气拿出5款自研产品,研发转型后这家华南大厂更能打了! 这是三七互娱旗下研发品牌三七游戏成立的第九个年头,也是他们设立“研发节”的第二年。在这个纪念日背后,是他们专注研发,做好精品游戏的表态。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 447000 日本人的吃鸡游戏哪不一样?Ninjala首周Switch下载量超200万 在大多数人的印象里,日本游戏市场的竞技氛围并不突出。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 459000 亚马逊放大招?大量卖家收到封停警告信! 大部分卖家收到的警告信都是表示账号存在停用的风险,理由是账号发生严重事件,导致账户面临停用风险。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 395000 行业动态 游戏谷 副总裁 魏家才 确认担任 GICC2025丨第六届全球互联网产业CEO大会游戏峰会演讲嘉宾! 游戏谷 副总裁 魏家才 确认担任 GICC2025丨第六届全球互联网产业CEO大会游戏峰会演讲嘉宾! siyushenqi.com 2025 年 10 月 14 日 412000 行业动态 如何通过Twitter矩阵提高国际市场的品牌知名度 利用话题标签增加曝光 与影响者合作推广品牌 定期发布互动内容 分析受众反馈优化策略 跨文化内容本地化 利用话题标签增加曝光 话题标签(Hashtags)是Twitter平台上一个强大的工具,可以帮助品牌在全球范围内提高曝光率。通过将相关话题标签添加到每条推文中,品牌能够触及到更多的潜在受众,不仅限于自己的关注者。话题标签不仅让品牌内容容易被搜索到,还能参与到… siyushenqi.com 2025 年 8 月 13 日 下午10:57 417000 行业动态 花钱找AI陪聊?让350万人“沦陷”的两款AI社交出海产品再升级 从创建到交互,AI也有“心”。 siyushenqi.com 2025 年 8 月 18 日 538000 这位“老爹”在霸榜:又一家深圳公司打通了休闲领域的任督二脉 一个名为《Cooking Papa:Cookstar》游戏在港台地区拿下了免费游戏榜TOP1 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 365000 行业动态 外贸谈判中,客户要求降价怎么办? 首先,先稳住心态。 客户砍价不是坏事 ,反而是一种想买东西的释放信号:我想买但是有点贵。 这是作为采购的一个本能反应,你如果一慌马上去降价,那客户反而会觉得你的价格其实还有很大的空间。 其次,要理清客户说的“贵”到底是什么意思。 (一)搞清楚客户为什么要说“贵” 不要直接说 we are in good quality。 可以先问一句,你觉得我们的价格贵,是… siyushenqi.com 2025 年 8 月 13 日 下午10:57 417000 行业动态 如何追踪ACH付款:完整指南 掌握ACH付款追踪技巧,能助您更从容管理电子支付事务。只要理解ACH追踪号码的作用,并依照以上步骤操作,便能高效应对付款延误、错误或欺诈问题。虽然ACH交易稳定可靠,但如PhotonPay光子易这类平台,凭借先进追踪工具和多币种支持,为全球支付提供了强大替代方案。 siyushenqi.com 2025 年 8 月 6 日 470000 行业动态 第一个吃螃蟹!TikTok Shop能否在海外社交电商撕出一道口子? 2024:TikTok Shop成败在此一举。 siyushenqi.com 2025 年 8 月 12 日 398000 行业动态 刘强东野心暴露,京东出海,不成功便成仁 京东物流已经完成了大洋洲、南美洲及北美洲共13个国家的快递寄递服务网络布局,包括澳大利亚、新西兰、巴西等国家,使得全球服务国家总数达到30多个。 siyushenqi.com 2025 年 8 月 5 日 423000 行业动态 Meta上线反诈工具 WhatsApp/Facebook 屏幕共享前弹窗提醒“仅分享给可信对象”;Messenger 内测 AI 防骗助手,可疑信息自动标红并支持一键 AI 复核。 siyushenqi.com 2025 年 11 月 3 日 454000 复活NPC、开发游戏,大厂抢爆的ChatGPT到底有多牛? “未来已来” siyushenqi.com 2025 年 8 月 14 日 • 行业动态 446000 游族2020上半年预计收入超25亿,同比增长高达44.5% 今日(7月17日),游族网络发布了2020年半年度业绩预告,期内公司录得收入超25亿元人民币,同比增长超44.5% siyushenqi.com 2025 年 8 月 26 日 • 行业动态 447000 Coupang稳居韩国电商第一,中国跨境平台加速抢人 Coupang 3月MAU达3503万重回增长,一季度交易额同比增11.26%。但面临Temu、AliExpress等中国跨境平台激烈竞争,叠加TikTok Shop或入局,韩国电商格局生变。 转自扬帆出海 2026 年 4 月 10 日 • 行业动态 250000 发表回复 请登录后评论...登录后才能评论 提交