李飞飞团队提出ReKep,让机器人具备空间智能,还能整合GPT-4o siyushenqi.com • 2025 年 8 月 13 日 下午9:08 • 行业动态 • 阅读 435 视觉与机器人学习的深度融合。 摘要 ReKep通过将机器人操作任务表示为一系列关系关键点约束,这些约束关联机器人与环境,无需特定任务训练或环境模型。 关键点是场景中的3D点,ReKep函数将关键点映射到数值成本,当成本小于等于零时表示满足约束。 李飞飞团队的这项工作展示了视觉与机器人学习的深层次融合,并在空间智能方面展现出巨大潜力。 ReKep方法为机器人技术的发展提供了新的方向,尤其是在需要复杂交互和环境理解的应用场景中。 当两只机器手丝滑地互相合作叠衣服、倒茶、将鞋子打包时,加上最近老上头条的 1X 人形机器人 NEO,你可能会产生一种感觉:我们似乎开始进入机器人时代了。 事实上,这些丝滑动作正是先进机器人技术 + 精妙框架设计 + 多模态大模型的产物。 我们知道,有用的机器人往往需要与环境进行复杂精妙的交互,而环境则可被表示成空间域和时间域上的约束。 举个例子,如果要让机器人倒茶,那么机器人首先需要抓住茶壶手柄并使之保持直立,不泼洒出茶水,然后平稳移动,一直到让壶口与杯口对齐,之后以一定角度倾斜茶壶。这里,约束条件不仅包含中间目标(如对齐壶口与杯口),还包括过渡状态(如保持茶壶直立);它们共同决定了机器人相对于环境的动作的空间、时间和其它组合要求。 然而,现实世界纷繁复杂,如何构建这些约束是一个极具挑战性的问题。 近日,李飞飞团队在这一研究方向取得了一个突破,提出了关系关键点约束(ReKep/Relational Keypoint Constraints)。简单来说,该方法就是将任务表示成一个关系关键点序列。并且,这套框架还能很好地与 GPT-4o 等多模态大模型很好地整合。从演示视频来看,这种方法的表现相当不错。该团队也已发布相关代码。本文一作为 Wenlong Huang。 论文标题:ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation 论文地址:https://rekep-robot.github.io/rekep.pdf 项目网站:https://rekep-robot.github.io 代码地址:https://github.com/huangwl18/ReKep 李飞飞表示,该工作展示了视觉与机器人学习的更深层次融合!虽然论文中没有提及李飞飞在今年 5 年初创立的专注空间智能的 AI 公司 World Labs,但 ReKep 显然在空间智能方面大有潜力。 方法 关系关键点约束(ReKep) 首先,我们先看一个 ReKep 实例。这里先假设已经指定了一组 K 个关键点。具体来说,每个关键点 k_i ∈ ℝ^3 都是在具有笛卡尔坐标的场景表面上的一个 3D 点。 一个 ReKep 实例便是一个这样的函数:?: ℝ^{K×3}→ℝ;其可将一组关键点(记为 ?)映射成一个无界成本(unbounded cost),当 ?(?) ≤ 0 时即表示满足约束。至于具体实现,该团队将函数 ? 实现为了一个无状态 Python 函数,其中包含对关键点的 NumPy 操作,这些操作可能是非线性的和非凸的。本质上讲,一个 ReKep 实例编码了关键点之间的一个所需空间关系。 但是,一个操作任务通常涉及多个空间关系,并且可能具有多个与时间有关的阶段,其中每个阶段都需要不同的空间关系。为此,该团队的做法是将一个任务分解成 N 个阶段并使用 ReKep 为每个阶段 i ∈ {1, ..., N } 指定两类约束: 一组子目标约束 一组路径约束 阶段 1 子目标约束是将末端执行器伸向茶壶把手。阶段 2 子目标约束是让茶壶口位于杯口上方。此外,阶段 2 路径约束是保持茶壶直立,避免茶水洒出。最后的阶段 3 子目标约束是到达指定的倒茶角度。 使用 ReKep 将操作任务定义成一个约束优化问题 使用 ReKep,可将机器人操作任务转换成一个涉及子目标和路径的约束优化问题。这里将末端执行器姿势记为 ? ∈ SE (3)。为了执行操作任务,这里的目标是获取整体的离散时间轨迹 ?_{1:T}: 也就是说,对于每个阶段 i,该优化问题的目标是:基于给定的 ReKep 约束集和辅助成本,找到一个末端执行器姿势作为下一个子目标(及其相关时间),以及实现该子目标的姿势序列。该公式可被视为轨迹优化中的 direct shooting。 分解和算法实例化 为了能实时地求解上述公式 1,该团队选择对整体问题进行分解,仅针对下一个子目标和达成该子目标的相应路径进行优化。算法 1 给出了该过程的伪代码。 其中子目标问题的求解公式为: 路径问题的求解公式为: 回溯 现实环境复杂多变,有时候在任务进行过程中,上一阶段的子目标约束可能不再成立(比如倒茶时茶杯被拿走了),这时候需要重新规划。该团队的做法是检查路径是否出现问题。如果发现问题,就迭代式地回溯到前一阶段。 关键点的前向模型 为了求解 2 和 3 式,该团队使用了一个前向模型 h,其可在优化过程中根据 ∆? 估计 ∆?。具体来说,给定末端执行器姿势 ∆? 的变化,通过应用相同的相对刚性变换 ?′[grasped] = T_{∆?}・?[grasped] 来计算关键点位置的变化,同时假设其它关键点保持静止。 关键点提议和 ReKep 生成 为了让该系统能在实际情况下自由地执行各种任务,该团队还用上了大模型!具体来说,他们使用大型视觉模型和视觉 - 语言模型设计了一套管道流程来实现关键点提议和 ReKep 生成。 关键点提议 给定一张 RGB 图像,首先用 DINOv2 提取图块层面的特征 F_patch。然后执行双线性插值以将特征上采样到原始图像大小,F_interp。为了确保提议涵盖场景中的所有相关物体,他们使用了 Segment Anything(SAM)来提取场景中的所有掩码 M = {m_1, m_2, ... , m_n}。 对于每个掩码 j,使用 k 均值(k = 5)和余弦相似度度量对掩码特征 F_interp [m_j] 进行聚类。聚类的质心用作候选关键点,再使用经过校准的 RGB-D 相机将其投影到世界坐标 ℝ^3。距离候选关键点 8cm 以内的其它候选将被过滤掉。总体而言,该团队发现此过程可以识别大量细粒度且语义上有意义的对象区域。 ReKep 生成 获得候选关键点后,再将它们叠加在原始 RGB 图像上,并标注数字。结合具体任务的语言指令,再查询 GPT-4o 以生成所需阶段的数量以及每个阶段 i 对应的子目标约束和路径约束。 实验 该团队通过实验对这套约束设计进行了验证,并尝试解答了以下三个问题: 1. 该框架自动构建和合成操作行为的表现如何? 2. 该系统泛化到新物体和操作策略的效果如何? 3. 各个组件可能如何导致系统故障? 使用 ReKep 操作两台机器臂 他们通过一系列任务检查了该系统的多阶段(m)、野外 / 实用场景(w)、双手(b)和反应(r)行为。这些任务包括倒茶 (m, w, r)、摆放书本 (w)、回收罐子 (w)、给盒子贴胶带 (w, r)、叠衣服 (b)、装鞋子 (b) 和协作折叠 (b, r)。 结果见表 1,这里报告的是成功率数据。 整体而言,就算没有提供特定于任务的数据或环境模型,新提出的系统也能够构建出正确的约束并在非结构化环境中执行它们。值得注意的是,ReKep 可以有效地处理每个任务的核心难题。 下面是一些实际执行过程的动画: 操作策略的泛化 该团队基于叠衣服任务探索了新策略的泛化性能。简而言之,就是看这套系统能不能叠不一样的衣服 —— 这需要几何和常识推理。 这里使用了 GPT-4o,提词仅包含通用指令,没有上下文示例。「策略成功」是指生成的 ReKep 可行,「执行成功」则衡量的是每种衣服的给定可行策略的系统成功率。 结果很有趣。可以看到该系统为不同衣服采用了不同的策略,其中一些叠衣服方法与人类常用的方法一样。 分析系统错误 该框架的设计是模块化的,因此很方便分析系统错误。该团队以人工方式检查了表 1 实验中遇到的故障案例,然后基于此计算了模块导致错误的可能性,同时考虑了它们在管道流程中的时间依赖关系。结果见图 5。 可以看到,在不同模块中,关键点跟踪器产生的错误最多,因为频繁和间或出现的遮挡让系统很难进行准确跟踪。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32503.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 人形机器人第一城,首轮竞逐赛开启 上一篇 2025 年 8 月 13 日 下午9:08 国产大模型,别指望OpenAI给答案 下一篇 2025 年 8 月 13 日 下午9:08 相关推荐 私域神器2022百场出海活动规划曝光 将启动演讲嘉宾合作计划 眨眼间2021已成为过去式,在这一年,我们没有虚度光阴。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 475000 2025年11月 | Insightrackr 海外移动游戏下载与收入排行榜 在 11 月下载量排名中,头部格局依旧稳固。 siyushenqi.com 2025 年 12 月 15 日 • 行业动态 452000 行业动态 省钱又不失格调!九个游戏制作省钱大法 一个游戏如何看起来制作价值(Production Value)很高,但实际上花费很少呢?今天我们就一起看看如今的游戏制作如何省钱。 siyushenqi.com 2025 年 8 月 3 日 474000 行业动态 Telegram群发消息模板与内容优化实用示例 Telegram群发消息作为一种高效沟通工具,已在数字营销中得到广泛应用。通过优化消息内容与策略,能够显著提高消息的传播效果。受众定位、消息格式、发送频率等因素是提高群发消息效果的重要策略。本文分享了如何设计高效的Telegram群发... siyushenqi.com 2026 年 1 月 25 日 428000 为了发展成为游戏中心,中东“土豪”又向中国厂商撒钱了 在卡塔尔世界杯的牵动下,全世界的目光都汇聚到了这个总面积仅有1万多平方千米的国家。不仅头戴白色头巾的“卡塔尔小王子”走红网络,中东国家“富得流油”的话题也一再引起人们的热议。就在同一时间,中东另一个土豪国家——沙特阿拉伯已经和我国谈起了深入合作。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 496000 行业动态 数万卖家正经历“红灯期”,翻越印尼电商市场高墙靠啥? 印尼对进口商品实施了新的强制性国家标准,导致所有口岸进入严格检查状态,许多跨境电商卖家的货物受到严重影响。 siyushenqi.com 2025 年 8 月 6 日 435000 从扎堆出海到靠清库存“续命”,中国家具厂商前路在何方? 2022年,出海的中国大件家具厂商们被迅速退热的购房潮卡住了脖子。面对产品滞销、政策风险、以及来自物流和仓储方面的压力,中国厂商们应当如何自救?解决了燃眉之急的他们,又该如何为下一步铺路? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 485000 义乌地摊货走红!蛋黄哥的二次增长 不要小瞧义乌的地摊货,有的在亚马逊上可是实打实的Best Seller。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 486000 行业动态 一年“躺赚”2亿刀—解析“T恤之王”的品牌出海之路! 无论时代如何变,消费者永远是在产品的理性卖点表达和品牌的感性心理诉求之间做出抉择。 siyushenqi.com 2025 年 8 月 8 日 475000 资深剧情策划分享:如何在游戏故事里传递情感? 我们都说游戏是第九艺术,但很少有人能够回答的问题是,游戏能否像电影或者小说那样令人潸然泪下? siyushenqi.com 2025 年 8 月 25 日 • 行业动态 506000 AI产生自我意识,「古墓丽影」劳拉觉醒!电子游戏革命来了 一位外国up主,用ChatGPT给AI智能体注入了自我意识。产生「生命」的劳拉觉醒了,开始自己在「古墓丽影」中闯关。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 449000 《会说话的汤姆猫》:过去十年排名第一的移动游戏 IP 《会说话的汤姆猫》从2013 年至今一直是 iOS 和 Google Play 平台上下载量最高的系列游戏 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 441000 行业动态 2022年了,这个快十年的打法还在赚钱 IP改编游戏的本质是什么? siyushenqi.com 2025 年 8 月 24 日 427000 衣服、鞋类和配饰等品类最火!2022年法国电商市场报告 作为世界第七大经济体,法国总能激起零售商们的兴趣。在经历了几年的“炼狱考验”之后,法国消费者仍对未来较为乐观。他们精通互联网,对创新持开放态度,也热衷于高质量产品——这也是电商企业能够成功扩张的关键性因素。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 428000 行业动态 爆卖200多万美元,又一款保健品畅销美区!TikTok Shop美国小店(4.8-4.14)新榜 TikTok Shop 全托管沙特斋月大促宣告收官。 siyushenqi.com 2025 年 8 月 6 日 485000 行业动态 陈天桥打造AI原生公司Tanka,称将为“开源一切”担责 陈天桥亲自打造AI原生公司Tanka,定位“长期记忆通讯平台”,核心产品Tanka消息应用搭载自研MemGraph技术,可记忆对话并提供情境感知与主动跟进。 siyushenqi.com 2025 年 12 月 31 日 395000 聊聊出海中东智能家居市场 智能设备扩展到无数技术,例如可以通过智能手机或自动驾驶汽车控制的灯、摄像头和百叶窗。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 504000 为了打造沉浸式“古代战争”体验,这款游戏究竟有多执着? 《率土之滨》推出了六周年大版本,试图沿着“总体战争”的主题,站在更宏观、更真实的角度去审视一番SLG游戏内容的演进方向,以“还原古代战争”为目标,重新定义SLG战争形态 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 453000 行业动态 28家游戏上市公司半年报解读:三七、世纪华通争做A股游戏第一,腾讯凭内购收入和小游戏赚足了底气 下个“赛季”,继续拼出海和游戏储备。 siyushenqi.com 2025 年 8 月 17 日 408000 行业动态 国庆不打烊丨洞察“神秘学”市场,AI加持下,看玄学如何横扫Z世代 2025年,玄学赛道各区域代表产品大盘点。 siyushenqi.com 2025 年 10 月 7 日 514000 行业动态 美国供应商拒绝降价,Temu处境有点艰难 受关税限制后,Temu被迫转向美国本土供应商,但多数卖家因亚马逊“最低价格协议”拒绝提供同款低价商品,要求Temu必须销售差异化或独家产品。 siyushenqi.com 2025 年 8 月 5 日 466000 行业动态 2023游戏行业人才走势:泡沫破裂之后 再见,人才战。 siyushenqi.com 2025 年 8 月 24 日 457000 后发先至,网易这匹SLG黑马跑出来了 想象空间有多大? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 480000 行业动态 阿里抖音拼多多,在海外互相抄作业 从国内卷到海外。 siyushenqi.com 2025 年 8 月 12 日 466000 莉莉丝的反击:我在海外发现了,他们偷藏许久的一款新品 再试一把 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 418000 行业动态 2023 年 12 月全球突破游戏排行 2023年12月的排行榜展示了重量级IP与Netflix作为游戏发行商强强联合的巨大影响力。 siyushenqi.com 2025 年 8 月 18 日 458000 行业动态 拼多多出海北美 当地人是这样看的 9月初,拼多多在北美市场低调推出了跨境电商平台“Temu”。该平台从9月1日-15日为测试期,16日开始正式在美国运营。 siyushenqi.com 2025 年 8 月 13 日 442000 行业动态 朱啸虎,“逃离”具身智能 金沙江创投的朱啸虎表示正在批量退出人形机器人公司,这一表态与当前机器人赛道的火热形成鲜明对比,引发了市场的广泛关注。 siyushenqi.com 2025 年 8 月 13 日 468000 行业动态 To C大模型,亏钱也得干丨祛魅AI 刚刚彻底开放的大模型赛道迎来了智能助手这一赛点,其成熟与爆发很可能是新一轮的行业洗牌潮。 siyushenqi.com 2025 年 8 月 13 日 424000 行业动态 基于 Apple ID 的 iMessage 群发设置详解 在今天的数字通讯时代,iMessage 作为苹果设备之间最常用的即时消息工具,已经深入人心。通过 Apple ID,用户可以方便地使用 iMessage 进行群发消息,与朋友、家人或同事轻松分享信息。然而,很多人对于如何设置和优化 iMessage 群发功能并不十分了解。本文将详细介绍如何通过 Apple ID 配置和使用 iMessage 群发功能,帮助你… siyushenqi.com 2025 年 8 月 13 日 下午9:08 435000 发表回复 请登录后评论...登录后才能评论 提交