英伟达发布通用机器人模型RVT-2，训练效率提升6倍 siyushenqi.com • 2025 年 8 月 13 日 下午9:37 • 行业动态 • 阅读 383 RVT-2是一个能够执行多种3D操作任务的模型，包括那些需要毫米级精度的任务，如插入销钉和插头。它能够在仅有大约10次任务演示的情况下学习新任务。 摘要 相比于前一代RVT模型，RVT-2在训练速度上提升了6倍，在推理速度上提升了2倍。 RVT-2引入了一个多阶段推理流程，允许模型放大并专注于任务关键区域，以进行更精确的末端执行器姿态预测。 RVT-2通过凸上采样技术、参数合理化、位置条件旋转预测以及减少虚拟视图数量等改进，实现了性能提升和资源优化。 RVT-2在模拟环境和现实世界中都进行了广泛的测试，证明了其在多种任务中的有效性，特别是在高精度任务上相较于RVT和其他方法有显著的性能提升。 随着AI技术的飞速发展，在工业和家庭领域中构建能够精确操作且仅需少量任务演示的通用实体机器人成为可能。例如，在工业制造中，人们希望实体机器人能够通过几次演示就学会高精度任务，如拧螺丝、搬货物等。 之前的PerAct、RVT等通用模型，在训练方面有一定的优势但还是有不少局限性。PerAct采用多任务模型，通过预测下一关键帧姿态来进行3D操作，但它使用的基于体素的场景表示限制了其扩展性。 RVT虽然解决了PerAct的一些功能缺陷，但在处理需要高精度的任务时仍存在困难。所以，英伟达的研究人员在RVT基础之上研发出了第二代，训练效率比第一代快6倍，推理效率快2倍，仅10次示范学习就能执行各种高精度任务。 在架构方面与RVT相比，RVT – 2进行了大幅度改进并引入了多阶段推理管道。在处理对象非常小且需要非常精确的抓手姿态的任务时，例如，在孔中插入销钉，之前RVT使用的固定视图可能无法完成。 RVT - 2采用了多阶段设计，在第一阶段使用固定视图预测感兴趣区域，然后在该区域进行放大并重新渲染图像，使用放大后的特写图像进行精确的抓手姿态预测。 RVT – 2还采用了凸上采样技术。RVT基于ViT，在预测热图时，会将图像tokens特征上采样到图像分辨率，这一过程内存消耗大。 RVT - 2去除了特征上采样，直接从tokens分辨率的特征预测热图形状，使用凸上采样层，通过学习到的凸组合来进行预测，不仅节省了内存，还不会牺牲性能。 此外，RVT - 2对网络参数进行了合理化调整。RVT中一些网络参数，如虚拟图像大小和补丁大小，可能不是GPU友好的。R VT - 2采用了类似于ViT的参数，如224的图像大小和14的补丁大小，这不仅使神经网络更适合GPU，还减少了多视图变压器内部tokens的总数，进一步提高了效率。 在旋转预测方面，RVT和PerAct使用全局视觉特征来预测末端执行器旋转，但当存在多个有效末端执行器位置且旋转依赖于位置时会出现问题。RVT - 2使用从末端执行器位置的特征图中汇集的局部特征进行旋转预测，实现了位置相关的旋转预测。 RVT渲染场景点云时使用了五个虚拟相机，分别放置在正交位置。但在RVT - 2的多阶段模型中，研究发现仅使用三个视图就足够了，且不会牺牲性能。 这是因为RVT - 2在最终预测中使用了放大后的视图，减少虚拟视图数量可以减少渲染器需要渲染的图像数量和多视图变压器需要处理的令牌数量，从而提高了训练和推理效率。 为了评估RVT - 2的性能，研究人员在模拟和现实世界中进行了综合实验。在模拟实验中，使用了RLBench中的18个任务进行测试，包括推按钮、放置物品和需要高精度的插销等任务。每个任务有2到60个变化，如处理不同颜色或位置的对象。 实验结果表明，RVT - 2在训练时间和性能上显著优于之前的模型。在训练时间方面，RVT - 2在相同计算资源下比RVT训练效率快6倍，推理效率快2倍。 在现实世界实验中，除了RVT中使用的堆叠方块、按压消毒器、将标记物放入杯子/碗中、将物体放入抽屉、将物体放入架子5个任务外，还增加了三个来自IndustRealKit的高精度任务，拾取并插入16mm销钉、拾取并插入8mm销钉、拾取并插入插头。 实验结果显示，RVT - 2在5个来自RVT的任务中，比RVT的性能相对提高了12.5%。在所有3个新的高精度任务上，RVT - 2的平均成功率为53.3%，而RVT为33.3%。 论文地址：https://arxiv.org/abs/2406.08545 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/32771.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 OpenAI裂变成了两块：一块营利，一块非营利 上一篇 2025 年 8 月 13 日 下午9:37 2024年美国融资超1亿美元AI公司盘点，xAI、OpenAI领衔 下一篇 2025 年 8 月 13 日 下午9:37 相关推荐 行业动态 与ChatGPT竞争白热化，谷歌正式启用5400亿参数PaLM增强Bard 谷歌首席执行官Sundar Pichai在3月31日接受Hard Fork播客节目采访时表示，Bard将从基于轻量级LaMDA模型升级为更大规模的PaLM模型。 siyushenqi.com 2025 年 8 月 14 日 435000 行业动态 突发！OpenAI CTO Mira Murati离职，高层动荡继续 一波接着一波，OpenAI 到底怎么了？ siyushenqi.com 2025 年 8 月 13 日 427000 行业动态 OpenClaw在SEO工具链中的优缺点分析 OpenClaw是一款自托管的SEO自动化工具，提供从数据分析到技术优化的全方位方案。相比传统SaaS工具，OpenClaw具有更高的自定义性和灵活性，适合有技术背景的用户。其在数据抓取和关键词优化方面的优势，能够为SEO工作带来更加... siyushenqi.com 2026 年 3 月 10 日 238000 行业动态 监管再次加码！微短剧取名逻辑或将被完全颠覆！ 广电总局网络视听司发布了《管理提示（加强微短剧片名审核）》，强调对微短剧片名的监管，指出存在“哗众取宠、低俗庸俗”的问题，损害了行业形象。 siyushenqi.com 2025 年 8 月 17 日 420000 行业动态 海外图文转化优化技巧：提高内容营销效果 海外图文内容营销面临文化隔阂与转化率低的挑战。文章探讨了图文内容在信息传递和建立信任方面的基石作用，并指出优化转化并非简单翻译，而是涉及文化理解、心理洞察、技术适配与数据分析的综合过程。旨在提供从用户理解到效果评估的实战优化思路。 siyushenqi.com 2026 年 1 月 25 日 373000 领航2022：出海社交媒体营销的5个新趋势 随着科技进步和社会环境变化，新的一年中，全球用户的行为偏好、社媒平台的政策和趋势也在不断变化。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 491000 行业动态 2025年全球游戏产业政策汇总：美日韩欧等国扶持与监管新规 全球游戏产业规模2024年已达1877亿美元，各国政府竞相出台税收优惠、技术补贴、监管松绑等政策，把游戏列为数字经济核心赛道。 siyushenqi.com 2025 年 10 月 21 日 494000 行业动态 前巨人CEO吴萌的新公司获心动、红杉、高榕、Monolith投资，估值近20亿人民币 瞄准大DAU长青游戏。 siyushenqi.com 2025 年 8 月 15 日 503000 腾讯海外开测新游，强势入局三消赛道！ 9月18日，由创梦天地研发、腾讯（Proxima Beta）代理发行的《女巫日记（The Witch Diaries）》正式在澳大利亚、新西兰和加拿大三个国家的安卓市场开启了测试。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 452000 海外观察丨被忽视的海外品类 KJV Bible进入多国Top100榜单 从版权出海时代到在海外培养原创文学生态的4.0时代，网络文学出海的模式已经在海外蹚出一条验证成功的路。除了早早扎根海外的阅文、掌阅等知名版权商之外，Dreame、安阅等公司从一开始就将市场选在海外，在几年的时间内也做出了成绩。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 487000 行业动态 100万DAU的社交应用被批“广告多”，如何年入300万美金 “人味儿”十足的社交应用最有吸引力。 siyushenqi.com 2025 年 8 月 17 日 429000 私域神器每周精选 No.52｜深海游戏千万月流产品寻全球发行 多款精品项目寻代投、支付 本期精选的合作类型涵盖多款精品寻海外合作、发行、支付、代投。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 • 行业动态 432000 独立站月营收超百万！小米生态链企业重启IPO 纯米科技重启IPO，重点发力出海业务 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 475000 跻身日本Top 20游戏发行商：游族的通关密码是什么？ 1300年前天武天皇之孙，长屋王，在给鉴真的信中，提到“住む场所は异なろうとも、风月の営みは同じ空の下でつながっている”，即“山川异域，风月同天”。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 500000 2025年7月 | Insightrackr 海外短剧应用下载与收入排行榜 Insightrackr 基于对全球移动市场的监测数据发布 2025 年 7 月海外短剧应用下载与收入排行榜。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 904000 行业动态 流浪的SHEIN：一个更激进的国际化样本 此前据《金融时报》的报道，SHEIN于6月向英国金融监管机构提交了机密文件，作为在伦敦IPO的前奏。但“由于面临法律问题的挑战”，以及有基金经理警告称上市将难以获得投资者支持，SHEIN选择了保留在香港上市的可能性作为后备。 siyushenqi.com 2025 年 8 月 6 日 445000 上周，EVA粉丝把《龙族幻想》送上了日本twitter热搜第一 不仅如此，笔者观察到，第二天官网上线特设页面，一个巨大的倒计时带着各种警戒元素，这里似乎藏着蛛丝马迹的暗号； siyushenqi.com 2025 年 8 月 26 日 • 行业动态 328000 行业动态 总流水大破百亿，在海外火了5年，今天轮到这个“全球爆款”来炸场了！ SLG赛道终于迎来一个破局者——《曙光防线》。 siyushenqi.com 2025 年 8 月 18 日 430000 行业动态 GDP连续增长8年，游戏人口将成世界之首，“印度时刻”要到了？ 打破刻板印象，关于出海印度需要了解的二三事。 siyushenqi.com 2025 年 8 月 17 日 466000 Temu单品销量超6万！一防晒神器火了 一款紫外线测试纸在亚马逊平台上卖断货，Temu上也有类似的产品，单品销量超6万！ siyushenqi.com 2025 年 8 月 13 日 • 行业动态 486000 行业动态 挑战二游传统框架，烛龙新品胆子不小 从未见过的船新二游 siyushenqi.com 2025 年 8 月 18 日 423000 行业动态 私域神器每周合作精选No.189｜自研猫咪逃脱产品求发行；AI漫剧制作团队找日本IP；寻海外支付通道；投资公司找东南亚欧美市场C端应用 本期精选的合作类型涵盖自研猫咪逃脱产品求发行；AI漫剧制作团队找日本IP；寻海外支付通道；投资公司找东南亚欧美市场C端应用。接下来就一起看看吧~ siyushenqi.com 2026 年 1 月 21 日 377000 行业动态 骂归骂氪归氪，暴雪又一次让玩家真香了？ 就一开始的表现来说，《魔兽大作战》没有那么不堪，甚至颇为亮眼。 siyushenqi.com 2025 年 8 月 18 日 437000 行业动态 智谱从 DeepSeek老家杭州融了一大笔钱 智谱完成了一轮超10亿元人民币的战略融资，投资方包括杭州城投产业基金、上城资本等。此次融资旨在推动智谱国产基座GLM大模型的技术创新和生态发展。在DeepSeek浪潮席卷全球、大语言模型价值被重估的背景下，智谱的融资具有标杆意义，显示了地方政府对AI产业的支持和智谱在行业中的重要地位。 siyushenqi.com 2025 年 8 月 13 日 399000 行业动态 Xbox换帅：斯宾塞时代落幕 微软游戏CEO斯宾塞退休，36岁CoreAI总裁阿莎·夏尔马接任。玩家担忧其缺乏游戏行业经验，恐难化解Xbox当前困境，引发信任危机。 siyushenqi.com 2026 年 2 月 26 日 282000 行业动态 Kimi罗生门：创始人、投资人，谁的错？ 月之暗面科技有限公司，一家成立不到2年、估值超过30亿美元的公司，因创始人杨植麟和联合创始人兼CTO张宇韬被指控在未获得循环智能投资方同意豁免书的情况下创立新公司并启动融资，而陷入争议。 siyushenqi.com 2025 年 8 月 13 日 436000 行业动态 服装出海“遭劫”…… 成本恐涨20%，上市或遇阻。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 极简RTS塔防《Thronefall》成新一波小游戏蓝本，国内卓杭下场，海外已有新品营收超50万美元 Steam上好评如潮，改成手游或许更香？ siyushenqi.com 2025 年 8 月 17 日 420000 腾讯发行，前剑灵主美制作：《NIKKE》除了抖臀还有什么？ 可以涩涩，但不止涩涩。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 403000 行业动态 月之暗面刚开源多模态Kimi-2506：智能体、视觉理解，重磅大升级 月之暗面（MoonshotAI）开源的多模态模型Kimi-VL-A3B-Thinking升级到了2506版本，该版本在多模态推理准确性、视觉理解能力、高分辨率图像处理、视频理解以及模型性能等方面都有显著提升。 siyushenqi.com 2025 年 8 月 13 日 450000 发表回复 请登录后评论...登录后才能评论 提交
