阿里开源R1-Omni,多模态情感识别 siyushenqi.com • 2025 年 8 月 13 日 下午10:02 • 行业动态 • 阅读 429 R1-Omni是由阿里巴巴通义实验室开源的多模态情感识别模型,首次将强化学习与可验证奖励(RLVR)应用于多模态大模型,显著提升了模型在情感识别任务中的推理能力、准确性和泛化能力。 摘要 R1-Omni在情感识别任务中表现出色。在MAFW数据集上,加权平均召回率(WAR)为40.04%,无加权平均召回率(UAR)为57.68%;在DFEW数据集上,WAR为56.27%,UAR为65.83%。此外,在RAVDESS数据集(作为泛化能力测试)上,WAR达到44.69%,UAR为43.00%,显示出较强的泛化能力。 传统强化学习在多模态任务中存在奖励信号设计复杂、依赖大量标注数据等问题。R1-Omni引入RLVR,直接利用任务的内在正确性标准设计奖励函数,避免了对中间奖励模型的依赖。模型根据情感预测的准确性获得奖励(正确为1,错误为0),从而更清晰地指导模型优化,提升情感识别的准确性和可靠性。 R1-Omni的训练分为冷启动和强化学习阶段。冷启动阶段使用了可解释多模态情感推理(EMER)数据集的232个样本和手动标注的HumanOmni数据集的348个样本,这些样本包含丰富的视觉、音频和文本信息,帮助模型初步学习多模态情感识别知识。强化学习阶段则使用MAFW和DFEW数据集的15306个视频样本进行进一步训练。 R1-Omni的开源地址为GitHub - HumanMLLM/R1-Omni,提供了模型下载、推理代码和训练数据的相关信息。该模型在情感识别任务中的优异表现,为多模态情感分析领域提供了新的研究方向和应用基础。 阿里巴巴通义实验室的研究人员开源了多模态情感识别模型R1-Omni,并首次将强化学习与可验证奖励应用在多模态大模型,显著提升了模型在情感识别任务中的推理能力、准确性和泛化能力。 根据测试数据显示R1-Omni的识别能力非常优秀,在MAFW数据集上,R1-Omni模型的加权平均召回率达到了40.04%,无加权平均召回率达到了57.68%;在DFEW数据集上,WAR达到了56.27%,UAR达到了65.83%。 开源地址:https://github.com/HumanMLLM/R1-Omni 在传统强化学习中,奖励信号的设计往往需要依赖于复杂的奖励模型,这些模型通常需要大量的标注数据来训练,并且在多模态任务中难以精确地捕捉到视觉、音频和文本等多种模态之间的复杂关系。不仅增加了训练的复杂性和计算成本,还可能导致奖励信号的不准确,从而影响模型的学习效果。 为了解决这些问题,R1-Omni模型引入了全新的强化学习方法——强化学习与可验证奖励(RLVR)。 相比之下,RLVR能直接利用任务的内在正确性标准来设计奖励函数,避免了对中间奖励模型的依赖。在多模态情感识别任务中,这意味着模型可以直接根据情感预测的准确性来获得奖励,而无需通过一个复杂的奖励模型来间接评估。 对于一个输入的多模态样本q(包含视频帧、音频流等信息),模型生成一个情感预测响应o,随后通过可验证奖励函数R(q, o)来判断o是否与真实情感标签一致。 如果预测正确,模型获得奖励值1,表示其输出与真实结果匹配;如果预测错误,则获得奖励值0,表示输出不正确。 此外,RLVR的奖励机制还为模型的优化目标提供了清晰的方向。能够明确地知道哪些预测是正确的,哪些是错误的,从而更加有针对性地调整模型参数,优化其对多模态信息的处理和融合能力,提高情感识别的准确性和可靠性。 训练方面,受到DeepSeek-R1的启发,R1-Omni也使用了类似的方法。多模态情感识别任务涉及到对视觉、音频等多种信息的综合处理和分析,其复杂性远超单一模态的任务。 如果模型在训练初期没有得到有效的引导和初始化,直接进入常规训练阶段,可能会在面对海量且复杂的多模态数据时陷入混乱,无法准确提取关键信息,导致训练效率低下,最终的模型性能也难以达到预期。 研究人员挑选了可解释多模态情感推理(EMER)数据集和手动标注的 HumanOmni 数据集。从 EMER 数据集中选取的 232 个样本,包含了丰富的多模态数据。这些样本中的视频片段记录了人物丰富多样的表情、动作以及场景变化等视觉信息,与之匹配的音频则涵盖了语音的语调、语速、音色等丰富细节。 例如,在一个 EMER 样本中,视频展示了一位女性在室内场景中,先是眼神游离、眉头微蹙,随后嘴角微微下撇,同时音频中她的声音带有一丝颤抖,语气较为低沉,字幕显示 “我真的不知道该怎么办了”。注释会引导模型理解这些视觉、音频和文本信息之间的联系,帮助模型推断出人物此刻的焦虑情绪。 手动标注的HumanOmni数据集有348个高质量样本。这些样本是基于实际场景和研究需求进行人工标注的,具有较高的针对性和可靠性。它们与 EMER 数据集的样本相互补充,共同为模型的冷启动训练提供了丰富的数据资源。 在这两个高质量数据的微调下,模型开始接触并学习多模态情感识别的相关知识。它逐渐掌握如何从视频中的人物表情、动作,音频的音色、语调,以及文本的语义内容等多模态信息中提取关键线索,并尝试将这些线索进行整合和分析,进而做出关于情感类别的准确判断。 根据RAVDESS测试数据显示,R1-Omni模型的WAR达到44.69%,UAR达到了43.00%,其泛化能力也明显优于其他模型。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33043.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 仅上线一天,吸引3万用户尝试AI解梦,信科学还是信“玄学”? 上一篇 2025 年 8 月 13 日 下午10:02 豆包消灭联网搜索 下一篇 2025 年 8 月 13 日 下午10:03 相关推荐 2020年9月中国手游发行商全球收入排行榜 Sensor Tower商店情报平台显示,2020年9月中国手游发行商在全球 App Store 和 Google Play 的收入排名。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 429000 行业动态 【案例分析】Free Fire 利用本地化带动游戏收入增长 Free Fire 通过深度本地化占领新兴市场 siyushenqi.com 2025 年 8 月 19 日 413000 行业动态 张勇吹哨,戴珊率先革大淘宝的“命” 张勇的这场赌局,需要戴珊和整个阿里全力以赴,才能最终取胜 siyushenqi.com 2025 年 8 月 13 日 430000 行业动态 中东智能手机市场,三星苹果吃肉,小米传音喝汤 新加坡分析机构Canalys的研究显示,中东智能手机市场(不包括土耳其)2022全年出货量较前年增长1%达3810万部,预计2023年增速提至6%。 siyushenqi.com 2025 年 8 月 12 日 445000 游戏观察:从7个角度看《幻塔》国际版如何做全球宣发 今年8月10日,《幻塔》国际版正式上线,作为一款由完美世界研发,腾讯发行的产品,其本身自带颇高的关注度。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 520000 行业动态 TikTok Shop东南亚电商机遇,留给卖家犹豫的时间不多了 2019年以前,东南亚电商市场仍处于相对野蛮生长的阶段,大家对东南亚的印象是店群、铺货、虚拟仓。 siyushenqi.com 2025 年 8 月 6 日 425000 行业动态 接连四次自降身价,美国版美团混得到底有多惨? 估值缩水80%、IPO遥遥无期…… siyushenqi.com 2025 年 8 月 24 日 449000 行业动态 Temu烧钱“攻塔”,亚马逊成功“守家” 第三方平台后起之秀Temu用全托管的盔甲武装自己步步紧逼,老牌巨擘亚马逊的不老神话依然在这片土壤延续...... siyushenqi.com 2025 年 8 月 12 日 419000 在成立的第9年,这家长沙公司冲上免费第一 综艺+手游,《向往的生活》登顶了免费榜。 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 464000 亚马逊巴西站值不值得入?第一波卖家:已经赚到第一桶金 新卖家入局亚马逊拉美站点到底该怎么快速上手? siyushenqi.com 2025 年 8 月 12 日 • 行业动态 490000 行业动态 Perplexity提出345亿美元收购谷歌浏览器Chrome 估值180亿美元的AI搜索独角兽Perplexity提出以345亿美元收购谷歌Chrome,金额接近其自身估值两倍。 siyushenqi.com 2025 年 8 月 15 日 430000 行业动态 杨植麟找出路 Kimi曾是国内月活数仅次于字节旗下豆包的AI APP,月活达到3600万,但半年后月活下滑至1820万,排名从第二滑至第四。面对DeepSeek等竞争对手的冲击,Kimi的技术优势逐渐被削弱,用户留存面临挑战。 siyushenqi.com 2025 年 8 月 13 日 503000 行业动态 增长169%,登顶TOP1,冰川、元趣、点点互动,老打法又升级了? “副玩法”在海外依然是一大重要风口,甚至是产品出海不可忽视的一环。 siyushenqi.com 2025 年 8 月 18 日 444000 出海大佬销声匿迹,一家成都公司的起起落落落 在手游领域达到全国游戏公司TOP5之后,它却十分突然地宣布转型去做3A游戏 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 490000 行业动态 OpenAI重磅开源!AI Agent大爆发,狂揽6000颗星! Swarm能够创建多个智能体,它们可以相互协作来完成特定的任务,如客户服务、销售支持和售后服务等。 siyushenqi.com 2025 年 8 月 13 日 420000 行业动态 Temu“周岁”落地东南亚 “砍一刀”出海能否再下一城 把“羊毛”撒到海外,会引发怎样的反应? siyushenqi.com 2025 年 8 月 12 日 462000 从《双人成行》的火爆看双人合作冒险类型的复兴 最近《双人成行》彻底火了,不少人都认为该作是自己心目中的年度最佳游戏。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 501000 行业动态 2023 年 9 月全球突破游戏排行 2023年9月颇为热闹,有引人注目的新游戏发布,PC 端游戏转移到移动端,以及体育迷推动相关游戏季节性增长。我们将以 4 周为周期,对月度资讯进行分析。 siyushenqi.com 2025 年 8 月 18 日 427000 行业动态 玩了腾子2024第一款游戏,我整个人都“荆”神了 从更高的视角看,二次元赛道并不神秘。 siyushenqi.com 2025 年 8 月 18 日 472000 行业动态 海外市场分析:T3市场概述 T3级别的市场主要包括印度、东南亚地区以及中东地区。 siyushenqi.com 2025 年 8 月 18 日 573000 游戏公司大全(纯出海厂商篇) 纯出海厂商指的是主要/全部市场在海外的游戏公司。依据主要产品类型,纯出海公司大体可以分成几类:SLG、博彩棋牌、休闲三消和其他(射击、MOBA这种赢者通吃的大DAU品类就不介绍了)。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 552000 行业动态 短剧App热度榜丨第一梯队固化?当红男频爽剧也在出海 翻译剧大批试水,成功方式能否复刻? siyushenqi.com 2025 年 8 月 18 日 566000 行业动态 PAGC 2026|升级2万平展馆,多家海外企业参展,万人出海展会,5月27–28日广州见! 第六届全球产品与增长展会(PAGC)5月27日-28日 不见不散。 siyushenqi.com 2026 年 1 月 15 日 459000 行业动态 腾讯元宝靠DeepSeek登顶,但豆包不能跟风 腾讯的AI助手应用“元宝”与DeepSeek的竞争激烈。元宝在接入DeepSeek-R1满血版后,迅速登顶中国区App Store免费榜,但随后被DeepSeek反超。元宝的成功并非仅靠买量,而是得益于腾讯生态的全力支持和快速决策。 siyushenqi.com 2025 年 8 月 13 日 444000 美国畅销榜Top 15,开发商估值10亿美元,三消品类新的风暴已经出现 “三消品类收入越高,也就越是会吸引更多厂商加入其中,不论竞争激烈与否。” siyushenqi.com 2025 年 8 月 25 日 • 行业动态 432000 又一款朝夕光年自研游戏曝光,这次是DND题材 7月29日,一款名为《代号:Dragon》的RPG手游开启了国服测试。在此之前几天,游戏已经于国际服开启限测。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 441000 行业动态 Acornaware Ltd CEO 黄硕 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌主持! Acornaware Ltd CEO 黄硕 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌主持! siyushenqi.com 2025 年 9 月 30 日 394000 行业动态 从任务到决策:智能体工作流的核心架构与实现方法 智能体工作流通过结合大语言模型与工具,能够在多步任务中进行自我规划与决策执行。其核心架构包含决策规划和资源管理模块,能够在动态环境中快速应对复杂任务。该技术广泛应用于智能制造、金融风控和自动驾驶等领域,提高了任务执行的效率与准确性。 siyushenqi.com 2026 年 1 月 24 日 407000 经历股东离开、腾讯投资后,这家SLG公司在海外测试了新品 最近一款SLG《Age of Nova》在海外开启了测试,游戏的发行账号Arc Games International似乎有点名不见经传,不过从游戏内的信息来看,这款SLG可能和上海沐睦网络有所关联。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 315000 行业动态 大模型就是做的多亏的多,连微软也逃不过? OpenAI:怎么还怪到我头上了 siyushenqi.com 2025 年 8 月 13 日 383000 发表回复 请登录后评论...登录后才能评论 提交