苹果机器人新突破:赋予机器人“灵动”手势,和人类一样有魅力 siyushenqi.com • 2025 年 8 月 13 日 下午9:46 • 行业动态 • 阅读 404 Apple AIML研究人员Peide Huang在2024年10月的论文中提出了EMOTION框架,该框架通过大型语言模型(LLM)和视觉语言模型(VLM),帮助机器人生成自然且符合社交情境的手势动作,提升机器人与人类的互动体验。 摘要 EMOTION框架通过“上下文学习”,理解当前情境所传达的情感和信息,并动态生成与之匹配的手势动作。它结合了LLM的动作生成序列和VLM的视觉信息提取能力,使机器人能够根据社交环境自动判断并做出合适的动作。 EMOTION框架强调动态手势生成,而非依赖预设程序。通过引入EMOTION++版本,机器人能够在与人类互动中学习和调整手势表现,根据人类反馈优化动作的自然性和可理解度。 研究团队通过用户研究对比了EMOTION生成手势与人类手势的自然性和理解度,结果显示两者没有显著差异。然而,EMOTION仍面临硬件限制、动作模式优化和计算时间等挑战,需要进一步改进。 EMOTION框架有望应用于家庭助手、教育机器人、医疗机器人等领域,使机器人在不同场景中实现更加自然和富有表现力的互动。未来的发展方向包括优化硬件设计和加速计算过程,以提升机器人的响应速度和灵活性。 人与人之间的交流,除了语言,还可以通过手势、面部表情和身体语言传递更多的信息。同样,机器人在与人类互动时,如果能够通过合适的手势和动作来表达情感,互动就会变得更加流畅和自然。 在现阶段,机器人虽然能够执行一些简单的手势动作,但这些动作通常是预设的,缺乏灵活性,无法根据不同的社交情境做出合适的反应。 为了让人形机器人能够“读懂”动作,并且做动作时更自然,Apple AIML研究人员Peide Huang在2024年10月的论文中提出了EMOTION框架。近期,该论文获得了业界的广泛关注。EMOTION框架通过大型语言模型(LLM)和视觉语言模型(VLM),帮助机器人生成自然且符合情境的手势动作。 这样,机器人不仅能够做出“竖大拇指”或“挥手”等简单手势,还能根据不同的交流环境做出动态、富有表现力的手势,提升与人类的互动体验。 EMOTION框架,让机器人也能为你竖起“大拇指”点赞 EMOTION利用大型语言模型(LLM)和视觉语言模型(VLM),让机器人能够理解并生成符合社交情境的手势。 根据苹果发表的论文显示,EMOTION框架大语言模型主要用于动作生成序列,通过调用OpenAI GPT-4的API进行文本补全来实现;VLM 主要使用的是Vision Transformers技术,帮助机器人从图像中提取重要信息,比如 3D 关键点,如同人眼凭借识别物体形状来理解其信息,机器人也能借助这种技术解读图片中的信息。 这些模型如同机器人的“社交大脑”。当机器人看到某个情景或接收到语言指令时,框架会通过“学习”这些信息,迅速生成合适的动作。 例如,看到某个人正在解题,机器人会自动做出一个“竖大拇指”的手势,以表达鼓励和支持。 这种能力的核心,在于机器人能根据社交环境自动“判断”最合适的动作,而不是依赖于预设的、固定的程序。 (EMOTION框架下机器人的环境判断) 那么,EMOTION是如何做到这一点的呢? 其实,它的工作流程就像是一个高度智能化的“手势工厂”。 首先,机器人会通过“上下文学习”,即理解当前情境所传达的情感和信息。当机器人接收到社交情境的输入时,比如一个语言指令,或者是机器人对周围环境的视觉观察,它会根据这些理解,通过模型生成符合情境的动作序列,就像画家根据不同的题材创作出各具风格的作品。 这一过程的关键在于动态生成。与传统的预设手势不同,EMOTION能够根据每一次交互的独特情境,生成与之最匹配的手势。例如,机器人可能会因为不同的情绪表达或任务需求,做出不同的手势,而不是重复固定的动作。这使得机器人不仅是一个简单的“执行者”,更像是一个可以与人类进行富有表现力对话的伙伴。 其次,尽管EMOTION本身已能够生成多样化的手势,但人类的反馈仍然是提升互动质量的关键。通过引入EMOTION++版本,机器人能够在与人类的互动中,学习和调整自己的表现。这个过程就像是一个艺术家不断在作品上进行打磨,直到它达到了更为自然和合适的效果。 (EMOTION框架下,机器人在人类反馈之下的手势互动) 在这个过程中,人类可以通过反馈告诉机器人哪些动作看起来更自然、哪些手势更易于理解。例如,假如机器人做出一个“听”的手势,但这个手势的手臂位置不够直观,可能让人误解为“停止”或“拥抱”,那么通过人类的调整建议,机器人可以优化这个手势,最终呈现出更加合适的表达。 通过这种人类反馈的持续优化,机器人生成的动作变得更加符合人类的期望和社交习惯,从而提升了机器人在互动中的自然性和可理解度。最终,EMOTION框架不仅使机器人能够做出正确的手势,还能使它们在与人类交流时表现得更富有“情感”和“智慧”。 手势魅力大比拼:机器人 VS 人类 为了验证EMOTION框架的有效性,研究团队设计了一项用户研究,目的就是对比EMOTION生成的手势与人类亲自表演的手势在自然性和理解度上的差异。 这就像是在评选谁的“表演”更具魅力——是机器人还是人类? 在实验中,参与者观看了由机器人和人类演示的手势视频,然后对这些手势的自然性和可理解性进行了评分。结果显示,EMOTION生成的手势与人类手势之间并没有显著的差异。简而言之,机器人做的手势在大多数情况下与人类的动作一样自然、容易理解。 (用户对生成的机器人表现性行为的可理解性和自然性的评分,按手势分类。*和**表示统计学意义,其中*表示p < 0.05,**表示p < 0.01。误差条表示均值的标准误差(SE)) (ORACLE:表示由人类示范的手势,是实验中的对比组,作为参考。EMOTION:表示由EMOTION框架生成的手势,基于大型语言模型(LLM)和视觉语言模型(VLM)进行生成的机器人手势。EMOTION++:表示通过EMOTION框架生成的手势,但在此基础上引入了人类反馈(优化版本),以进一步提升手势的自然性和可理解度。) 然而,尽管EMOTION表现良好,它仍有一些不足,特别是在某些细节的处理上。部分手势,尤其是更为复杂或细腻的动作,仍需要进一步的优化和调整。 那么,是什么影响了这些手势的自然性和理解度呢? 第一点,研究表明,手势的细节在这其中起着至关重要的作用,也就是硬件限制。 比如,当前的机器人硬件可能无法灵活地模拟所有细腻的手势。例如,手的位置和手指的姿势直接决定了手势是否能够准确传达意图。就像你在用手势传达“OK”时,如果手指的弯曲程度不对,别人可能会误解成“歪了的OK”或者完全不理解你的意图。 (机械手的运动序列) 第二点,动作模式也起到了重要作用。想象一下,如果你让机器人做一个“停止”的手势,动作的“流畅性”和“直观性”决定了观众能否立刻理解这个动作。如果动作过于生硬,或是路径不够直接,就容易造成误解。因此,EMOTION需要精细调整手势的流畅度和准确度,确保每一个动作都能迅速且准确地传达出正确的信息。 第三点,计算时间是挑战。生成每个动作序列需要一定的时间,而目前的计算速度可能不能满足实时互动的需求。为了让机器人能够像人类一样在自然对话中快速做出反应,计算时间需要进一步减少。 (通过多次运行实验,计算了每次生成手势所需的平均时间,并考虑了计算中可能的波动(标准差);Initial sequence(初始序列),Single-round HF(单轮人类反馈)) 通过实验统计显示: 第一,生成初始动作序列的时间普遍较长。例如,对于“Thumbs-up”手势,初始序列生成的时间为28.7秒,而其他手势的时间也大致在24秒到33秒之间。这表明,机器人在初次生成动作时,需要较多的计算和处理时间。 第二,在加入人类反馈后,计算时间普遍缩短。例如,“Thumbs-up”手势在人类反馈后的时间降至24.4秒,相较于初始生成的时间,明显减少。这意味着,通过人类反馈优化手势序列后,机器人能够更高效地调整和改进动作。 面对这些挑战,未来的解决方向包括优化硬件设计,提升机器人的关节和手指灵活性;同时,加速计算过程,利用更高效的算法和本地化计算,缩短响应时间。 随着EMOTION框架的进一步发展,机器人不仅能在实验环境中表现出色,还可以在不同的应用场景中发挥更大的潜力。例如,家庭助手、教育机器人、医疗机器人等,未来都能借助EMOTION框架,进行更加自然和富有表现力的互动。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32867.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 被 DeepSeek 抢的风头,OpenAI 决定在「审美」上找回来 上一篇 2025 年 8 月 13 日 下午9:46 DeepSeek宣布涨价,投资人称DeepSeek对商业化不感兴趣 下一篇 2025 年 8 月 13 日 下午9:46 相关推荐 联邦快递再开设新物流设施,在波兰电商市场全速前进 巨头争相布局的地方,往往不缺机遇。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 475000 Unity游戏云上线,游戏开发门槛进一步降低 6月15日,Unity宣布,与腾讯云联手打造的一站式联网游戏开发平台——游戏云 (Unity Connected Games)正式上线。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 477000 行业动态 TikTok宣布遵循欧盟准则,承诺打击非法仇恨言论 流行短视频分享应用TikTok(抖音海外版)宣布,该公司将遵循欧盟的行为准则,承诺打击非法仇恨言论。 siyushenqi.com 2025 年 8 月 26 日 498000 行业动态 阿里重磅开源Qwen2-VL:能理解超20分钟视频,媲美GPT-4o! 阿里巴巴开源了最新视觉多模态模型Qwen2-VL,根据测试数据显示,其72B模型在大部分指标超过了OpenAI的GPT-4o。 siyushenqi.com 2025 年 8 月 13 日 431000 行业动态 一年10亿美元!没想到朝夕光年在海外闷声赚钱 夕光年旗下手游在App Store和Google Play的全球下载量达到了大约1.39亿次,收入超过了10亿美元。 siyushenqi.com 2025 年 8 月 24 日 454000 缺钱、等版号、推翻重做,这个小作坊熬了4年的游戏终于上线 8月26日,一款二次元手游在不怎么热闹的氛围下开启了属于自己的公测。这款名为《星火之歌》的新游戏,是由欢乐狗工作室开发的消除类回合制游戏。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 448000 行业动态 「暴利」短剧,8天过亿? 咪蒙陈欧,大厂入局。 siyushenqi.com 2025 年 8 月 18 日 434000 行业动态 Zenlayer 作为DTC品牌出海增长峰会-联合赞助出席PAGC 2025丨第五届全球产品与增长展会 Zenlayer 作为DTC品牌出海增长峰会-联合赞助出席PAGC 2025丨第五届全球产品与增长展会 siyushenqi.com 2025 年 8 月 17 日 441000 4个月内连推两个爆款,这家国内大厂把韩国二次元市场吃透了? 出海已经是当今产品的必要选项,海外市场也在一轮轮国内精品的攻势下逐渐被抢占,前不久,B站游戏在韩国发行的《高能手办团》就拿下当地免费榜双榜Top 1,以及畅销榜双榜Top 4的开局佳绩。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 496000 首周销量突破50万份,4个俄罗斯人为数值类Roguelike开辟新方向 《Loop Hero》或许能给Roguelike手游带来新思路。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 564000 中东亚马逊和Noon的卖家模式有何不同?哪个更适合你? 亚马逊和Noon这两个最大的竞争对手都在中东争夺市场份额,且有许多卖家看到中东电子商务行业的巨大商机. siyushenqi.com 2025 年 8 月 13 日 • 行业动态 412000 行业动态 年销10亿人手一双,朴西拖鞋凭何席卷东南亚 借助海外双12的热潮,我们一起来关注下这个席卷东南亚的拖鞋品牌——Posee(朴西拖鞋)。 siyushenqi.com 2025 年 8 月 12 日 595000 健身题材热到超休闲赛道 武汉这家头部手游公司又做了个欧美 Top10爆款 健身浪潮席卷全球 哈乐沃德乘风而起 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 456000 行业动态 iyO指控OpenAI旗下io盗取机密 iyO起诉OpenAI旗下io公司新增商业秘密盗窃指控,指其通过前员工窃取产品机密,加速研发近十年。案件升级凸显科技并购中的知识产权风险。 转自扬帆出海 2026 年 3 月 31 日 243000 “擅用魔法”的外国人,却被盗墓笔记IP一整个拿捏了 6年前,一些外国朋友偶然通过YouTube看到了一部名为《盗墓笔记》的电视剧,然后就深深地爱上了这个题材。而由于中西方国家截然不同的文化历史,海外友人虽被中国盗墓文化的魅力所吸引,但仅凭一些“大触”们的用爱发电和晦暗难懂的文字翻译,很难满足他们的胃口。那如果在游戏中呢? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 459000 行业动态 AI重构营销基建:易点天下斩获微软广告2025年度双项大奖 在“2026微软广告合作伙伴峰会”上,易点天下(Cyberklick)凭借在AI驱动增长领域的深度协同与创新突破,一举摘得「2025年度商业成就奖」与「2025年度客户深耕奖」。 siyushenqi.com 2026 年 1 月 29 日 455000 行业动态 苹果又翻车了!新版Siri或推迟发布 苹果升级版Siri测试中再现问题,多项AI功能可能推迟至iOS 26.5或27发布,复杂工程与多技术整合成挑战。 siyushenqi.com 2026 年 2 月 21 日 277000 OpenAI发布GPT-4:能识图能算税,ChatGPT摆脱Chat,再次进化 这一次,它将成为开发者手中的利器 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 457000 私域神器看财报:搜狐Q2财报净利2500万 卖掉搜狗加大游戏出海探索 搜狐营利双升,游戏业务增长带动公司整体向好。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 501000 行业动态 出海厂商丨2025年11月中国应用/游戏厂商出海收入Top30榜 本文统计周期为2025年11月1日到2025年11月30日。 siyushenqi.com 2025 年 12 月 16 日 484000 行业动态 Photo Dance领跑AI娱乐赛道,Boogie AI先红一步 从猫meme到韩国女团Aspea的最新MV,Photo Dance可以说是近段时间最火的AI娱乐应用了。 siyushenqi.com 2025 年 8 月 13 日 457000 行业动态 谷歌云:媒体、娱乐行业,正大量投资生成式AI 64%的受访企业已经在实际业务中应用生成式AI,24%正在评估或测试,显示媒体和娱乐行业已到达生成式AI应用的拐点,成为日常工具之一。 siyushenqi.com 2025 年 8 月 13 日 444000 行业动态 积极拥抱南非下沉市场,Takealot要玩把大的 Takealot选择将业务扩展到南非的农村和乡镇市场,以探索新的增长点,特别是在基础设施和物流网络不完善的地区。 siyushenqi.com 2025 年 8 月 5 日 531000 行业动态 TOP40业绩榜单出炉!有大卖“钞能力”高于安克 哪家跨境电商上市公司最赚钱? siyushenqi.com 2025 年 8 月 5 日 421000 卖爆东南亚!美妆品牌Y.O.U如何深耕本土化实现翻倍增长? 快速增长的背后,Y.O.U如何抓住东南亚市场的消费者痛点? 作为出海品牌,Y.O.U通过当地节日营销破圈的秘诀是什么? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 530000 行业动态 OpenAI和国产模型悄悄打起“价格战” OpenAI发布GPT-5.4 mini和nano小模型,主打高性价比与低延迟,但国产模型如Kimi-K2.5在价格和性能上更具优势,引发智能体时代模型分层竞争 转自扬帆出海 2026 年 3 月 23 日 258000 行业动态 里程碑时刻:CapCut 用户支出突破 1 亿美元 CapCut 与最流行的社交媒体平台之一 TikTok 的无缝整合是其成功拼图中不可获取的重要部分。 siyushenqi.com 2025 年 8 月 19 日 686000 行业动态 OpenAI开放GPT-4o高级语音,还用中文说「对不起」 这项高级语音功能,大家可是等了好久。 siyushenqi.com 2025 年 8 月 13 日 394000 行业动态 拼多多暂停了本地生活业务,美团的生意这么难抢? 这场持久战,估计还有得打呢。 siyushenqi.com 2025 年 8 月 12 日 399000 非洲:下一个跨境电商爆发地? 2021年对于中国跨境创业者们而言,注定是不平凡的一年。疫情带来的影响使得相关产业链不得不进入停摆期,外贸被唱衰的论调也此起彼伏。“90%的订单被取消”、电商出海从“黄金时代”跌入“黑铁时代”、“外贸企业的集体困境到来”等观点开始涌向出海圈。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 483000 发表回复 请登录后评论...登录后才能评论 提交