Meta视频AI王者登场,打爆Sora!体操运动终于不再鬼畜 siyushenqi.com • 2025 年 8 月 13 日 下午9:47 • 行业动态 • 阅读 438 VideoJAM是由Meta和特拉维夫大学研究人员提出的一个新框架,旨在解决AI视频生成中运动连贯性不足的问题。传统视频模型因训练目标偏向外观保真度,导致运动连贯性差。VideoJAM通过修改目标函数,引入显式的运动先验,使模型同时预测外观和运动,从而提升运动理解能力。 摘要 VideoJAM由两个互补模块组成:训练阶段,模型基于单一学习表征同时预测像素和运动;推理阶段,引入“Inner-Guidance”机制,利用模型自身的运动预测作为动态引导信号,生成连贯动作。该框架无需额外数据或模型扩展,可直接应用于任何视频模型。 VideoJAM在运动连贯性方面达到SOTA水平,超越了Sora等专有模型。实验显示,VideoJAM生成的视频在多种复杂运动场景下表现出色,如体操、呼啦圈、滑板跳跃等,动作自然且符合物理规律。此外,VideoJAM还提升了视频的视觉质量。 定性实验中,VideoJAM在多种运动类型上表现优于现有模型,如长颈鹿奔跑、引体向上、呼啦圈等场景。定量实验中,使用VBench基准评估外观质量、运动质量和提示词一致性,VideoJAM在自动指标和人工评估中均显著优于基线模型。 尽管VideoJAM显著提升了运动连贯性,但仍面临挑战。例如,在“远景”场景下,模型难以捕捉运动信息;在复杂物理交互场景中,运动表示缺乏显式物理编码。未来,VideoJAM有望通过引入更复杂的现实世界先验(如复杂物理规律)进一步提升视频生成能力。 我们都知道,几乎所有视频模型都有一个老大难:无法正确生成运动。 原因就在于,AI视频的训练目标更偏向外观,而非动态表现。 就在刚刚,来自Meta和特拉维夫大学的研究人员发布了一个用于改进运动生成的全新框架——VideoJAM。 论文地址:https://arxiv.org/pdf/2502.02492 这个新框架,直接攻克了这个传统难题,无需任何额外数据或scaling。 结果显示,它生成的视频已通过体操图灵测试,结果碾压Sora! 左边Sora生成的这个怪异的体操动作,直接被VideoJAM吊打。 Sora生成的男子抛球的视频,可谓是爆笑如雷了;而VideoJAM生成的效果,真实又自然,完全符合物理规律。 从Sora生成的转呼啦圈动作看,它完全没理解这项运动的原理,而VideoJAM已经手拿把掐。 AI视频为何难以捕捉现实动作 为什么视频生成模型在处理运动方面如此困难?现实世界的运动、动态和物理现象,它们经常难以捕捉。 Meta的研究团队发现,当视频帧被打乱时,基于像素的损失几乎不变,这表明,它几乎「对时间不一致性保持不变」。 也就是说,这种局限性源于传统的像素重建目标,它会使模型过度关注外观保真度,而忽视了运动的连贯性。 Meta的解决方案,就是VideoJAM。 它通过修改目标函数,来引入显式的运动先验:模型从单一的学习表征中同时预测外观和运动。 这种方法,就能迫使模型同时捕捉视觉信息和动态变化,从而提升对运动的理解能力。 具体来说,VideoJAM通过鼓励模型学习外观与运动的联合表征,为视频生成器注入有效的运动预测。 VideoJAM由两个互补的模块组成。 在训练阶段,研究人员将目标扩展为基于单一的学习表征,同时预测生成的像素及其对应的运动。 在推理阶段,他们引入了「Inner-Guidance」机制,通过利用模型自身不断演化的运动预测作为动态引导信号,引导生成连贯、逼真的动作。 值得注意的是,VideoJAM框架几乎无需额外改动即可应用于任何视频模型,无需修改训练数据或扩大模型规模。 结果令人惊喜! VideoJAM在仅使用其自身训练集中的300万个样本对预训练视频生成模型(DiT)进行微调后,仍实现了卓越的运动连贯性。 在运动连贯性方面,它已经达到了SOTA;在运动质量上,它甚至超越了Sora等专有模型。 Meta团队的研究结果表明,外观与运动之间并非对立,而是相辅相成;当二者得到有效融合时,能够同时提升视频生成的视觉质量与运动连贯性。 复杂运动无比真实 以下视频由VideoJAM-30B在高难度提示(需生成复杂运动类型)下生成的结果。 「一位滑板运动员进行跳跃。」 可以看出运动员与滑板在空中的动作结合的十分协调,甚至在踏上滑板时,滑板还有轻微的震动,可谓是十分真实了。 「手指压进一个闪烁的粘液球。」 视频清晰展现了手指与粘液球的粘连状态,生动体现了其粘性。 「一位花样滑冰运动员完成了一个有力的跳跃,她的金色服装闪闪发光。」 视频中可以看出运动员在空中的旋转十分协调,在快速移动中还生成了模糊的效果。 「一只山羊在山顶一个旋转的球上保持平衡。」 视频中的山羊努力在球上保持平衡,其动作也符合物理法则。 「慢动作特写,厨师切番茄。」 视频中对手指的处理没有明显瑕疵,实属不易。切下的西红柿之间也有着自然的差异。 「一个男孩在生日蛋糕上吹蜡烛。」 下面这个视频需要模型理解小男孩吹气与蜡烛火苗间的逻辑关系。VideoJAM-30B显然处理得还不错。 「一个花瓶在安静的古董店木地板上摔碎。」 这种碎裂的场景十分考验模型对细节的处理,VideoJAM-30B看来也不在话下。 视频AI大PK 接下来,为了证明VideoJAM具备最优的运动连贯性,研究人员进行了定性和定量实验。(从左到右为Runway Gen3、Sora、DiT和VideoJAM) 定性实验 定性评估涵盖了多种运动类型,是当前AI视频模型面临的挑战难题,比如体操动作(空中劈叉、跳跃)、需要物理理解的情境(手指按压黏液、篮球落入篮网)等等。 如下比较中,直观地展现出当前领先AI视频模型的局限性。 即使是简单的运动,例如长颈鹿奔跑,也会出现问题,例如「反向运动」(Sora)或不自然的动作(DiT-30B)。 更复杂的运动,如引体向上或头倒立,会导致视频静态不变,或有的出现身体变形。基线模型甚至还会违背物理规律,比如物体消失或突然出现。 相比之下,VideoJAM始终能够生成连贯的运动。 不过,在下面这组「转动的指尖陀螺」中,所有模型都无法正确地遵循物理学定律。 更进一步的,研究团队还展示了VideoJAM与DiT-30B在同等条件下的定性比较。 「一位芭蕾舞者在黎明时分在草地上优雅地旋转,他们的动作柔和流畅,如同晨风。」 可以看出,对比基础模型DiT-30B,微调后的VideoJAM生成的视频主体人物更大、明暗对比更加强烈。 「运动员在雨中奔跑的特写,他们的鞋子在积水中溅起水花,坚定地向前推进。」 下图中,同样VideoJAM生成的视频中主体更大,同时跑步姿势也显得更加自然一些。 「一只狗跳过木栅栏。慢动作。」 下图中DiT-30B(左)生成的视频中狗在空中直接穿过了栏杆,而VideoJAM则没有出现这种问题。 「特写镜头,寿司师傅用故意、流畅的动作切生鱼片。」 下图中VideoJAM生成的视频中主体离镜头更近,而DiT-30B生成的视频中,厨师根本就没有切到寿司。 「女性在公园日落时,围绕腰部旋转呼啦圈。」 下面这个对比视频同样可以看出,VideoJAM生成的视频中女人旋转呼啦圈明显更加真实,而DiT-30B生成的视频中的女人则同呼啦圈一同旋转。 定量实验 在定量评估中,研究人员就外观质量、运动质量以及提示词一致性,采用了自动指标(automatic metrics)和人工评估相结合的方式。 自动指标 这里,作者使用了VBench基准——能够从多个解耦维度评估视频生成模型。评估指标包括逐帧画面质量、美学评分、主体一致性、生成的运动量以及运动连贯性。 如下表4、表5所示,分别展示了4B模型和30B模型在运动基准测试上的自动指标的结果。 人工评估 在人工评估方面,研究人员遵循二选一强制选择(2AFC) 协议,即评估者在每次比较中观看两段视频(一段来自 VideoJAM,一段来自基线模型),并根据画面质量、运动表现和文本对齐度选择更优者。 每组比较由5位不同的评估者进行评分,每个基线模型在每个基准测试中至少收集640次评价。 评估结果,如下表1、表2所示。 消融实验 如表3所示,所有消融实验都会显著降低运动连贯性,其中去除运动引导的影响比去除文本引导更大,这表明运动引导组件,确实能够引导模型生成时间上连贯的视频。 此外,在推理阶段移除光流预测的影响最大,这进一步证明了联合输出结构对于确保合理运动的优势。 同时,与InstructPix2Pix引导进行对比,也进一步证明了Inner-Guidance公式更适合VideoJAM框架,因为InstructPix2Pix在运动方面的得分为倒数第二低,再次验证了新方法在提升运动连贯性方面的有效性。 局限性 尽管VideoJAM显著提升了时间连贯性,但仍面临一些挑战,如下图7所示。 首先,由于计算资源的限制,作者依赖于有限的训练分辨率和RGB运动表示,这使得模型在「远景」场景下难以捕捉运动信息,当运动物体仅占画面的一小部分时,该问题尤为明显。 在图7(a) 中,降落伞未能展开,运动显得不连贯。 其次,尽管运动与物理规律密切相关,提升了物理一致性,但VideoJAM运动表示缺乏显式的物理编码,从而限制了模型在复杂物理交互中的表现。 在图7(b) 中,球员的脚尚未接触足球,球的运动轨迹却已经发生变化,这表明模型在模拟物理交互时仍存在不足。 结论 视频生成是一项独特的挑战,需要同时建模空间交互和时间动态。 尽管该领域已经取得了显著进展,但视频模型在时间连贯性方面仍存在困难。即使对那些在训练数据集中已经充分表示的基本运动也是如此。 Meta团队的研究指出,训练目标是关键因素之一:以往目标通常偏向于外观保真度,而牺牲了运动连贯性。 为此,他们提出了VideoJAM——一个能够为视频模型显式注入运动先验的框架。 其核心思路直观且自然:由单一的潜在表示同时捕捉外观与运动。 只需增加两个线性层且不需要任何额外训练数据,VideoJAM就能显著提升运动连贯性,甚至可与强大的专有模型竞争。 VideoJAM具有通用性,为未来在视频模型中注入更复杂的现实世界先验(如复杂物理规律)提供了广阔的可能,为整体建模真实世界交互开辟了新方向。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32878.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 豆包的压力才刚刚开始 上一篇 2025 年 8 月 13 日 下午9:47 左百度右阿里,苹果“脚踏两只船” 下一篇 2025 年 8 月 13 日 下午9:47 相关推荐 行业动态 人刚毕业,颠覆整个AI界:扒一扒Sora两带头人博士论文 看看这个时代最伟大 AI 学者的研究脉络。 siyushenqi.com 2025 年 8 月 13 日 411000 行业动态 Shopee重返巴西第二,流量反超拼多多Temu 2024年6月,巴西电商市场流量呈现下滑趋势,总访问量较5月环比下降5.4%,其中网站访问量下降6.2%,应用程序访问量下降2.5%。 siyushenqi.com 2025 年 8 月 13 日 427000 次时代品质打爆全场,这款卡牌MMO首日韩国畅销榜夺冠! 在中国厂商的出海之路上,韩国是一个不得不提的强劲对手。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 466000 联手全球顶级动画公司,《原神》动画项目为何能引发全球热议? 《原神》二创生态的繁荣,行业基本有目共睹,B站上有着大量播放量超百万千万的二创视频。甚至玩家群体里还有了个梗,「压力来到了官方这边」,调侃官方被玩家比下去了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 441000 行业动态 长剧低迷拖累毛利下滑,阅文尝试押注AI漫剧 阅文2025年营收73.66亿降9.3%,净利降24.8%;在线业务微增,IP衍生品GMV破11亿,AI漫剧半年收超1亿成新增长点。 转自扬帆出海 2026 年 3 月 23 日 206000 行业动态 当 AI 眼镜叩响大众市场,这会是第二个 iPhone 时刻吗? 2024 年 Q2 出现“周周发新品”盛况:李未可、雷鸟、小米、Rokid 等国内厂商密集上新;谷歌、Meta、苹果等国际巨头同步加码,全球进入“百镜大战2.0”。 siyushenqi.com 2025 年 8 月 13 日 388000 行业动态 高潜力市场爆火,有卖家日出20000单! 国货出海渐成趋势,哪个市场哪个平台是卖家的最佳选择?当不少卖家还在欧美的电商红海中厮杀之时,已经有卖家在新兴蓝海市场开启爆单之旅。 siyushenqi.com 2025 年 8 月 13 日 419000 苹果App Store 正式加入隐私摘要 用户下载App前可预知隐私搜集 12 月 15 日,苹果发布了 iOS/ iPad OS 14.3及macOS Big Sur 11.1 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 451000 行业动态 巨人网络宣布CEO张栋辞职,刘伟回归 2024年10月28日,巨人网络CEO张栋因个人原因辞职,董事刘伟接任CEO与总经理职务。 siyushenqi.com 2025 年 10 月 30 日 423000 年售1.2亿美元的手机壳,曾因流量太大站点险些崩了 独立站流量高达670w siyushenqi.com 2025 年 8 月 12 日 • 行业动态 443000 行业动态 6种跨境电商常见的报关模式,优劣势分析! 很多出海卖家对“报关模式”这个话题其实挺容易忽视,所以今天就给大家介绍一般贸易模式0110、跨境电商保税模式1210、跨境电商B2B模式9710、跨境电商零售模式9610、跨境电商海外仓模式9810、市场采购模式1039。 总结了这6种跨境电商常见的报关模式的定义、适用情形以及优劣势,一起来看看了解一下吧! 一、一般贸易模式(0110) 定义:即境内企业与境… siyushenqi.com 2025 年 8 月 13 日 下午9:47 438000 行业动态 离开 Founder Park,他决定用「内容逻辑」重新定义设计 设计的目的不是炫技,而是服务于沟通。 siyushenqi.com 2026 年 3 月 18 日 291000 行业动态 TikTok终于赢了一次!欧盟首次败诉! 欧盟普通法院首次支持Meta和TikTok对《数字服务法》(DSA)监管收费提出的异议,认为欧盟委员会在计算费用前未制定明确的用户数量计算规则。 siyushenqi.com 2025 年 9 月 12 日 468000 苹果Arcade遭遇生存危机:苹果退产品、要求提高游戏参与度 Apple Arcade至今未在中国区的Appstore开启,但对海外用户来说,Apple Arcade正在变得可有可无,一场越来越严重的生存危机浮出水面。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 548000 行业动态 转化翻10倍!揭秘潮洋科技TikTok美国小店塑身衣“爆单”秘籍 “大小许总”这对创业路上的亲兄弟和好拍档,就将同我们一起聊聊这些年的出海故事,分享他们兄弟二人如何乘势出海东风,抓住 TikTok 平台机遇,实现销量的脉冲式爆发。 siyushenqi.com 2025 年 8 月 18 日 434000 行业动态 别“刷”了!又有两大刷单公司遭亚马逊起诉! “你还在刷单吗?” siyushenqi.com 2025 年 8 月 13 日 447000 行业动态 上线6日新增用户破千万,冲上热搜的《鹅鸭杀》能火多久? 2023 年海外刷屏的社交派对游戏《鹅鸭杀》正版手游由虎牙×金山世游联合发行,上线 6 天新增破千万,最高同时在线(PCU)一举超越 Steam 端历史峰值,登顶 iOS 免费榜。 siyushenqi.com 2026 年 1 月 15 日 429000 行业动态 Meta新款AI眼镜或年底发布 Meta计划于今年年底推出代号为Hypernova的AI眼镜,售价预计在1000至1400美元之间。该产品配备高清单目显示屏,信息仅显示在右眼前方,定位为中端产品,具备APP运行、图像显示等功能,并可通过手势控制和电容式触摸操作。此外,还将配备进阶摄像头和AI聊天机器人。 siyushenqi.com 2025 年 8 月 13 日 424000 行业动态 短剧出海「一哥」,去年净利润只有24万?! 中文在线的财报一出,应该有不少人关心枫叶互动2023年的业绩。 siyushenqi.com 2025 年 8 月 18 日 536000 海外观察丨传说氪金百万的玩家有5位数 江娱互动的口袋“奇”在哪里? 4X策略代表手游之一的《口袋奇兵》从2021年开始也一下子回归到了畅销榜前10的位置。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 609000 行业动态 Facebook的“后IDFA时代”计划:关闭针对iOS14的Audience Network? Facebook正在紧锣密鼓的为广告主们找寻应对苹果限制IDFA的对策,这个过程不是那么甜蜜,但是必须这样进行下去。 siyushenqi.com 2025 年 8 月 26 日 467000 行业动态 短剧投手掌钱:“挥金如土”,一晚亏10万 投手们花钱如流水。 siyushenqi.com 2025 年 8 月 18 日 459000 行业动态 实探东南亚TikTok电商现状:转机出现了,商家却胆怯了 局势有变,困难重重。 siyushenqi.com 2025 年 8 月 12 日 461000 行业动态 别让好项目困在孤岛——私域神器编辑部策划,只属于游戏人的“路演”企划正式开启招募! 好项目需要好舞台,只要你有,只等你来。 转自扬帆出海 2026 年 3 月 31 日 225000 行业动态 穿透AI招聘“黑箱”:当人才成长失去可见度,如何用“证据链”重建信任?丨对话创始人 硅谷初创公司,用“AI人才审计+孵化”打通人才招聘的最后一公里。 siyushenqi.com 2026 年 2 月 10 日 378000 “梅西经济”爆火跨境电商平台,义乌卖家世界杯神预测! “大力神杯”花落阿根廷,义务卖家在现冠军神预测! siyushenqi.com 2025 年 8 月 13 日 • 行业动态 464000 行业动态 TikTok的美国大事,终于落地 TikTok在美成立数据安全合资公司,有哪些信息值得关注? siyushenqi.com 2026 年 1 月 29 日 413000 行业动态 如何利用LINE与Telegram矩阵拓展海外客户触达边界 全球触达的渠道重构逻辑 LINE 与 Telegram 的矩阵化架构设计 多语言运营与用户增长机制 数据驱动的持续优化与合规治理 在全球数字化获客环境中,单一平台往往如同单线航道,覆盖范围有限且抗风险能力不足。通过构建 LINE 与 Telegram 的矩阵化运营体系,企业可以像搭建多引擎飞机一样,在不同区域、不同文化与不同监管环境中实现稳定飞行,从而系统性… siyushenqi.com 2025 年 8 月 13 日 下午9:47 438000 一场长达2小时的周年节目,散爆“少前”IP又一次放出了大招 散爆网络是诸多二次元厂商中较早开始构建自身IP矩阵的厂商之一。在2020年的《少女前线》周年直播上,散爆就正式公布了这一IP下的系列新产品。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 524000 “崩”上热搜榜首、免费榜霸榜17天,但目前的《地铁跑酷》分析都是错的 因为在下载榜上霸榜多天,《地铁跑酷》服务器被大量涌入的玩家挤到崩溃,并且“喜提”微博热搜榜榜首。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 460000 发表回复 请登录后评论...登录后才能评论 提交