让机器准确「看懂」手物交互动作,清华大学等提出GeneOH Diffusion方法 siyushenqi.com • 2025 年 8 月 13 日 下午11:16 • 行业动态 • 阅读 416 在机器学习和计算机视觉中,让机器准确地识别和理解手和物体之间的交互动作,那是相当费劲。 在机器学习和计算机视觉中,让机器准确地识别和理解手和物体之间的交互动作,那是相当费劲。 要么拿个杯子半天抓不到杯把: 要么打开一个盒子手部跟触电了似的: 抑或是各种稀奇古怪的手部「畸变」: 这都是因为手物交互动作中噪声干扰,比如手和物体的遮挡等,导致机器难以获得准确的信息。那么,如何解决这些「讨厌」的噪声呢? 近日,清华大学、上海人工智能实验室和上海期智研究院发布了一篇名为《 GeneOH Diffusion:Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion》的论文,提出了一种新的去噪方法 ——GeneOH Diffusion。该研究已被ICLR 2024接收。 论文: https://arxiv.org/abs/2402.14810 代码地址: https://github.com/Meowuu7/GeneOH-Diffusion 项目网站: https://meowuu7.github.io/GeneOH-Diffusion/ YouTube 视频: https://youtu.be/ySwkFPJVhHY Hugging Face Demo: https://huggingface.co/spaces/xymeow7/gene-hoi-denoising GeneOH Diffusion 主要用于改善手和物体交互(Hand-Object Interaction, HOI)过程中的噪声问题。简单来说,就是当机器或者计算机视觉系统尝试追踪和理解手和物体之间的交互时,经常会因为各种原因(比如遮挡、光线变化等)出现误差。这篇论文提出的技术就是用来减少这些误差,使得机器能够更准确地理解和模拟手与物体之间的交互。 研究动机 干净的手物交互数据在很多下游任务,如 AR、VR 和 Robotics 中都有广阔的应用前景,但如何以一种可扩展的方式获取自然真实的手物交互数据是一个极具挑战性的问题。研究者无论是采用数据采集的策略,设计算法从其他数据模态中获得手物交互序列,还是借助生成模型的强大生成能力,所得到的数据都不可避免地被各种各样无法预测的噪声干扰(图 1)。这些噪声可能来源于采集设备有限的精度或者相关算法的误差。 一种能够从含有噪声的数据中恢复出清晰、真实手物交互序列的方法,构成了连接低成本手物交互数据源和高质、实用数据之间的桥梁。正是在这一过程中,手物交互去噪模型的独特价值和重要性得以凸显。 图 1:手物交互序列中多样且复杂的噪声类型 从含有噪声的交互序列中恢复出真实的数据,这是一个本质上困难的重构问题。在实际的去噪应用场景中,由于输入数据的物体、交互动作和噪声特征都具有不可预测性,同时去噪模型的训练数据又受到限制,因此模型的泛化能力变得尤为关键,同时也是设计去噪模型时最具挑战性的地方。 尽管交互序列去噪问题并非一个全新的研究领域,但在以往的工作中,无论是采用基于规则的方法还是数据驱动的方法,「如何在训练数据有限的情况下,构建一个具有高度泛化能力的模型」这一问题并未得到充分的重视和深入研究。而正是在这样的背景下,GeneOH Diffusion(如图 2 所示)旨在探索和实现可泛化的手物交互去噪技术。 图 2:通过在有限的数据上进行训练,GeneOH Diffusion 可以很好地泛化到新颖的带有复杂噪声特征的交互序列上(图 a),并可以从一段输入中恢复出多样且自然的交互序列(图 b),且是一个实用的工具(图 c)。 GeneOH Diffusion:可泛化的手物交互序列去噪方法 GeneOH Diffusion 重新思考了设计数据驱动的去噪模型的两个关键问题 ——「什么是易于泛化的手物交互序列表示方法」和 「什么是对噪声特征不敏感,且易于在不同类型噪声数据上泛化的去噪方法」,并通过两个关键性的设计来增强去噪模型的泛化性。 首先,为了有效增加模型对新颖物体和手物交互动作的可泛化性,GeneOH Diffusion 通过在局部接触区域参数化交互信息,来对齐各种各样的手物交互序列。 具体来讲,GeneOH Diffusion 设计了一套以广义接触点为中心的、包含手物时空交互信息的序列表征,名为 GeneOH。GeneOH 包括 位姿标准化后的手物轨迹、以广义接触点为中心的手物空间关系表征、以及以广义接触点为中心的手物时间关系表征。(图 3) 图 3:可泛化的手物交互序列表征 GeneOH 为了增加去噪模型泛化到新噪声分布上的能力,GeneOH Diffusion 摒弃了前人确定性映射的去噪方法,提出使用扩散模型刻画手物交互信息的分布,并通过先扩散 — 后去噪的方式,极大地提高了模型对具有没见过的复杂噪声特征的数据的泛化能力。 具体而言,GeneOH Diffusion 先将输入的有噪声的数据通过前向扩散的方式对齐到一个统一的噪声空间,之后对扩散的数据进行去噪。最后,为了去除复杂多样的手物交互序列中的噪声,GeneOH Diffusion 设计了一种有效的层级式去噪方法,通过对不自然的手型、有噪声的手物空间关系和有噪声的手物时间关系进行逐步去噪,最终恢复出一段自然真实的手物交互序列(图 4)。 图 4:层级式去噪和易于在不同噪声类型之间泛化的先扩散 - 后去噪的去噪范式 可泛化去噪结果展示 GeneOH Diffusion 仅在有限的 GRAB 数据集上进行训练,尽管它只接触过有限的交互序列和简单的扩散模型中的高斯噪声,但它仍然能够有效地泛化到新的交互序列上。这些新序列不仅包含了未见过的物体,还涵盖了创新的交互动作,并且带有复杂的、真实世界中的噪声特征(见图 5) 图 5:在 GRAB,GRAB(Beta),HOI4D 和 ARCTIC 上的去噪结果部分展示 最令人惊讶的是,GeneOH Diffusion 仅仅在包含刚性物体交互数据上进行了训练,但它依然能够近乎完美地复原出一段自然真实的人打开剪刀的序列(见图 6)。即便输入数据未能提供有效的接触信息,并且包含了由视觉算法错误导致的异常噪声,经过 GeneOH Diffusion 去噪处理后的序列仍然展现出了合理的接触点、自然的手部运动轨迹,以及手物运动一致的操控动作。 图 6:泛化到非常困难的、具有复杂的真实的噪声特征序列上的动画示例 基于生成模型,GeneOH Diffusion 具备随机去噪的能力,这与去噪过程中所面临的一对多的问题特质相吻合(见图 7)。 图 7:随机去噪结果展示 同时 GeneOH Diffusion 具有广阔的应用价值。它可以修正从视频中预测的手物交互序列,去除运动重定向所产生的噪声,并可以提高生成模型所生成的数据的质量(图 8)。 图 8:应用场景 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33727.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 中国的AIGC,都去哪“捞金”了? 上一篇 2025 年 8 月 13 日 下午11:16 大模型不需要眼前的共识 下一篇 2025 年 8 月 13 日 下午11:16 相关推荐 行业动态 大厂混战中东电商 阿里系Trendyol赶超拼多多Temu登顶下载榜 电商淘金风潮正在中东兴起。 siyushenqi.com 2025 年 8 月 12 日 442000 行业动态 爱诗科技下注的AI视频,正在比它预期的更「快」落地 2023 年还是“非赛道”,两年不到 AI 视频已渗透到社交、广告、短剧、影视全场景,进入“规模化应用前夜”。 siyushenqi.com 2025 年 11 月 20 日 472000 中东电商发展自相矛盾?市场主导玩家有哪些? 中东电子商务有点自相矛盾,互联网覆盖率很高,消费者也有钱可花,但电商生态系统落后。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 444000 站在武侠游戏的分水岭 也许,属于武侠题材的变革和新生,正在潜伏接近。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 321000 行业动态 PAGC2024短剧出海峰会精华回顾丨在百亿市场破局,短剧出海如何少踩坑多增长? 自2023年短剧产品在海内外市场迎来爆发式需求以来,越来越多的中国短剧团队开始走向海外,他们擅长打磨优质剧本,具备丰富的拍摄经验,对海外市场有长足的探索。 siyushenqi.com 2025 年 8 月 18 日 399000 行业动态 超长小说可以用AI翻译了,新型多智能体协作系统媲美人工翻译 机器翻译 (MT) 的最新进展显着提高了各个领域的翻译质量。然而,由于其复杂的语言、比喻表达和文化差异,文学文本的翻译仍然是一个艰巨的挑战。 siyushenqi.com 2025 年 8 月 13 日 393000 行业动态 安克创新也在变!亚马逊转型独立站要过三道坎 “从亚马逊封号潮后,直接转型独立站且发展特别成功的亚马逊卖家,行业内目前还未有特别冒尖的企业/品牌方。” siyushenqi.com 2025 年 8 月 13 日 406000 行业动态 OpenAI发布新文生图模型,免费、逼真到难以分辨 OpenAI在凌晨2点的技术直播中对GPT-4o和Sora进行了重大更新,推出了全新的文生图模型。该模型不仅支持文生图功能,还具备自定义操作、连续发问、风格转换、图像PPT等实用功能,例如可以更改图片的宽高比、调整图像物体的角度、用十六进制代码指定颜色等。 siyushenqi.com 2025 年 8 月 13 日 472000 行业动态 苹果“云上谷歌”,连Siri都不放过 苹果因自建云服务使用率低、资本支出保守,考虑将新版Siri部署至谷歌云,暴露其AI基础设施依赖外部算力的困境。 siyushenqi.com 2026 年 3 月 5 日 294000 行业动态 Fotor海外业务负责人兼COO张家俊确认担任PAGC2024丨AIGC产业出海增长峰会演讲嘉宾 Fotor海外业务负责人兼COO张家俊确认担任PAGC2024丨AIGC产业出海增长峰会演讲嘉宾 siyushenqi.com 2025 年 8 月 18 日 465000 行业动态 对话Xsolla President David Stelzer:三方支付成出海必考题,这届中国游戏企业如何乘势而上? 面对裹挟而来的三方支付热趋,出海从业者必须要踏浪前行了。 siyushenqi.com 2025 年 8 月 18 日 456000 行业动态 史上最高!OpenAI以1500亿美元估值,融资65亿美元! 彭博消息,OpenAI正以1500亿美元融资,洽谈65亿美元融资。 siyushenqi.com 2025 年 8 月 13 日 385000 行业动态 逆袭了?《鸣潮》刚刚登顶日韩等8地畅销榜 预计这两天,游戏可能还会在更多市场的榜单上实现「逆袭」。 siyushenqi.com 2025 年 8 月 18 日 477000 行业动态 竞品ASO分析指南:转化率优化的秘密武器 高曝光不等于高下载,页面转化能力直接决定ASO效果;竞品ASO分析是提升转化率的核心杠杆,通过市场验证的经验快速优化自身页面。 siyushenqi.com 2025 年 11 月 10 日 422000 行业动态 2024年营利双增,易点天下“AI+营销”驱动业绩高增 易点天下2024年营业收入达到25.47亿元,同比增长18.83%,扣非净利润为2.17亿元,同比增长30.10%。公司计划向全体股东每10股派发现金红利1.16元,全年分红和回购总额预计为7648.18万元,占净利润的32.99%。 siyushenqi.com 2025 年 8 月 13 日 442000 行业动态 一周要闻NO.104丨Vision Pro中国首销;6月国产游戏版号下发104个;亚马逊或上线低价商店 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 423000 行业动态 亚马逊妥协了,承诺三大改革,或使卖家格局大变 欧盟的反垄断压力,让亚马逊做出改革承诺。 siyushenqi.com 2025 年 8 月 13 日 450000 行业动态 阿里开源新模型:超GPT-4o,数学能力全球第一! 阿里巴巴开源了最新数学模型Qwen2-Math,一共有基础和指令微调两种版本,包括1.5B、7B和72B三种参数。 siyushenqi.com 2025 年 8 月 13 日 424000 行业动态 OpenAI CEO和COO首次合体对话:可将AI成本降至接近零 地缘政治和社会经济的不稳定性限制AI发展。 siyushenqi.com 2025 年 8 月 13 日 402000 行业动态 年收近百万!她在TikTok无意间做出一个护理小爆品 ↓ 搜罗 TikTok 最新趋势爆品,推荐关注↓受三年疫情影响,随着“远程办公”的兴起及对身体舒适性的新关注 siyushenqi.com 2025 年 8 月 12 日 479000 行业动态 上线后登顶美区App Store,OpenAI能否借此开启AI短视频的社交实验? 短视频社交,但AI纯享版。 siyushenqi.com 2025 年 10 月 13 日 440000 行业动态 阿里巴巴发布通义千问系列最新旗舰模型 阿里巴巴于北京时间周四凌晨发布了通义千问系列的最新旗舰模型Qwen2.5-Omni,这是一款端到端多模态模型,能够处理文本、图像、音频和视频等多种输入,并通过生成文本和合成语音提供实时流式响应。 siyushenqi.com 2025 年 8 月 13 日 403000 行业动态 2022年,3大日本电商趋势解读 在挑战重重中找寻新机遇,需要卖家对市场趋势有较高的洞察力并根据局势迅速采取对应措施。 siyushenqi.com 2025 年 8 月 13 日 513000 行业动态 Manus还活着,还上新了 8月1日凌晨上线,Pro用户先行,未来逐步下放至Basic/Plus,免费用户暂无计划;官方用“parallel”强调一次可拆分并跑上百个子任务。 siyushenqi.com 2025 年 8 月 13 日 363000 TikTok vs Facebook,海外社交电商爆发前夕? 海外社交电商争夺战才刚刚打响,现在正是提早入局的时机。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 436000 行业动态 从应用市场看巴以冲突:民众生活巨变 祈愿和平 siyushenqi.com 2025 年 8 月 18 日 446000 SLG吸金太强了!壳木2020年净利润近5亿,暴涨229% 昨日(4月27日)盘后,神州泰岳发布了2020年财报。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 456000 狂销百万、被高价收购!DTC教父Bonobos的成名之旅 近年来,全球消费市场掀起了一股DTC热潮,各类DTC品牌不断涌现,融资上市、品牌收购、惊人营收......这些关键词让它们成为了市场的新一代宠儿。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 426000 微软也来打情怀牌,《帝国时代4》够香吗? 近日,微软《帝国时代4》发布后一举登顶Steam周销榜,让玩家们直呼“爷青回”。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 490000 行业动态 Shein推迟法国五家门店开业 Shein巴黎首店因售价比官网高遭消费者吐槽“失去低价优势”,SGM决定暂缓原定11–12月在第戎、兰斯等五城开设新特许经营店的计划。 siyushenqi.com 2025 年 11 月 17 日 344000 发表回复 请登录后评论...登录后才能评论 提交