微软推出VASA-1:可生成会说话的,动态人物视频 siyushenqi.com • 2025 年 8 月 13 日 下午11:13 • 行业动态 • 阅读 437 微软亚洲研究院推出了VASA-1,用户只需要输入一张图片和一段音频,就能生成表情丰富、细节逼真的动态人物视频。 微软亚洲研究院推出了VASA-1,用户只需要输入一张图片和一段音频,就能生成表情丰富、细节逼真的动态人物视频。 根据其demo演示的效果,能以45fps 生成 512x512 分辨率的视频帧,在线流媒体环境中可以支持高达 40fps 的帧率。 而延迟只有170ms左右,并且只需一张英伟达的4090 GPU即可,整体性能非常高效。 论文地址:https://arxiv.org/abs/2404.10667 早在今年2月末,阿里巴巴的研究人员便发布了一款类似的视频模型EMO,通过一张图片、音频就能生成实时会说话的人物视频,成功将张国荣、奥黛丽赫本等名人“复活”,当时在AI圈内引起了很大的反响。 随后,清华大学、东京大学、庆应义塾大学等联合开源了EMAGE;华为、腾讯开源了AniPortrait;谷歌推出了VLOGGER模型,在生成效果方面基本与EMO差不多。 再加上微软本次推出的VASA-1,可以充分说明人物视频合成领域已经受到了广泛的关注,并且很大的应用空间。 例如,前几天的“AI刘强东”在直播带货便小火了一把,引发上千万人围观,销售额甚至超过了一些头部真人大主播。这种数字人主播便离不开EMO、VASA-1这类技术的加持。 构建面部潜在空间 传统的人物合成视频,通常会将嘴唇运动、面部表情、眼睛凝视和眨眼等面部动态分开处理,这样做虽然可以精准捕获面部细节,但在合成阶段会出现不协调、抽搐、算力成本高等缺点。 而VASA-1对面部动态和头部运动进行了综合建模,将所有这些面部动态视为一个单一的潜在变量,并通过视频数据训练了一个表达丰富且解耦的面部潜在空间,能够以更低的资源消耗捕捉到人类面部的细微表情和头部动作,从而生成逼真、表情丰富的动态人物视频。 为了构建面部潜在空间,VASA-1使用基于3D的辅助表示,并结合了一系列损失函数。 该方法能够在大量面部视频数据上进行自监督或弱监督训练,从而学习到具有高度解耦和表达性的面部潜在表示。这种表示不仅能够捕捉到丰富的面部动态细节,还能够在生成过程中提供有效的控制。 此外,VASA-1能够接受一组可选的控制信号,包括脸部凝视方向、头部到相机的距离,可以使得生成的面部表情,根据特定的业务场景需求进行动态调整,例如,直播带货、博物馆讲解、虚拟导游等。 音频驱动面部生成 音频在生成说话人物视频方面非常重要,不仅包括嘴唇的运动与音频同步,还涉及到面部表情、眼睛的转动以及其他非语言的动态行为与其相匹配。 VASA-1使用了一个扩散模型从输入的音频中提取特征,包括音高、音量、语调等。然后使用扩散变换器,根据提取的音频特征生成面部动态的潜在代码。 同时将额外的条件信号,例如,凝视方向、情感偏移、语速等,与音频特征一起输入到扩散变换器中,再通过生成的面部动态潜在代码和预先训练好的面部解码器,渲染出与音频同步的实施人物说话视频。 研究人员在VoxCeleb2、OneMin-32基准测试中对VASA-1进行了综合测试。结果显示,VASA-1在音频-唇部同步分数上表现最佳;SC和SD分数均高于其他模型,且接近真实视频的表现。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33672.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 重磅!Llama-3,最强开源大模型正式发布! 上一篇 2025 年 8 月 13 日 下午11:12 Leonardo新增图片样式引导,能精准控制生成图片啦! 下一篇 2025 年 8 月 13 日 下午11:13 相关推荐 行业动态 东南亚塞不下小腾讯 碰壁的闪电式扩张 siyushenqi.com 2025 年 8 月 12 日 401000 游戏抽卡次数受限,监管形势下厂商们要向哪走? 抽卡之后会是什么?抽卡,会是手游的尽头吗? siyushenqi.com 2025 年 8 月 25 日 • 行业动态 424000 出海必收藏:AppsFlyer2021最新榜单 海外最全广告渠道汇总及分析 扬帆出海带你解读《广告平台综合表现报告》第十三版 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 495000 行业动态 只用文本,3分钟生成一个网站!首个ChatGPT版网站开发平台 目前,dora AI提供免费试用服务,不锁区可直接使用。 siyushenqi.com 2025 年 8 月 13 日 382000 行业动态 前网易战魂工作室总监创业,拿到了灵犀互娱亿级投资 【灵犀互娱投资入股乐创互娱】 广州乐创互动娱乐有限公司出现工商变更,新增股东灵犀互娱,具体占股未知。 siyushenqi.com 2025 年 8 月 24 日 482000 自研暗黑like海外上线,能成为心动的收入担当吗? 心动网络自研的全新ARPG游戏《火炬之光:无限》上线首日便登上多地iOS免费榜TOP10,截至目前还位于15个地区前十。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 484000 行业动态 C位换人,华人统治AI时代? xAI 12 人创始团队华人占 5 席,Meta 公开挖角名单华人占 8/14,马斯克、扎克伯格、黄仁勋把华人科学家视为先进模型落地的最稀缺资源。 siyushenqi.com 2025 年 8 月 13 日 455000 《火炬之光:无限》海外开测,今年的ARPG手游大战要开始了? 春节前,心动旗下的《火炬之光:无限》在海外地区开始了又一轮测试。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 510000 行业动态 又一机器人“入主”上市公司 16.65亿元“协议转让+要约收购”拿下锋龙43%股权,优必选将首次拥有A股上市平台,实际控制人变更为周剑。 siyushenqi.com 2025 年 12 月 27 日 378000 行业动态 拳打SHEIN脚踢TEMU,这家杭州出海公司凭何又融了10个亿! 凭实力拿到今年度过10亿高额融资,但前有SHEIN巨头挡路,后有拼多多TEMU海外版的快速崛起,接下来Urbanic故事怎么讲? siyushenqi.com 2025 年 8 月 12 日 526000 长跑5年坐拥2000万用户,这款二次元手游越来越能打了 在大多数情况下,一款手游产品在进入生命周期的第五年之后,在运营上都不会有太大的动作了。但《碧蓝航线》似乎是个例外,自从上线以来这款产品就一直在保持着“生长”。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 472000 行业动态 网易,游戏增速没那么快了 净收入 284 亿元,Non-GAAP 净利润 95 亿元,同比大增 26.7%,游戏仍是绝对引擎。 siyushenqi.com 2025 年 11 月 21 日 428000 行业动态 Shopee印尼迎对手?Tokopedia平台活跃卖家突破1400万 据外媒最新消息,截至8月底Tokopedia平台的卖家数量突破1400万,与2019年(700万)相比,激增了2倍。 siyushenqi.com 2025 年 8 月 13 日 498000 行业动态 私域神器每周精选 No.67|休闲游戏寻发行 多款产品寻优质渠道/联运 筛选优质合作,获取出海商机 siyushenqi.com 2025 年 8 月 19 日 420000 前YY高管印度创业1年自述:短视频难变现 转型做本土占星业的淘宝 作为明星创业者,看好印度市场的Emerging Vision创始人崔怀舟深耕印度1年,给我们带来他的观察和思考! siyushenqi.com 2025 年 8 月 3 日 • 行业动态 561000 行业动态 当一家头部MCN决定做AIGC产品 一家擅长制造爆款的内容公司,最近推出了一款定位为“故事生成助手”的AI工具。 siyushenqi.com 2025 年 8 月 13 日 462000 行业动态 Hopemobi、AppBazar确认入驻PAGC 2024 | 第四届全球产品与增长展会! 恭喜Hopemobi、AppBazar作为展商入驻第四届全球产品与增长展会。 siyushenqi.com 2025 年 8 月 18 日 423000 行业动态 范冰冰出海做TikTok的3个月后 范冰冰高调宣布其彩妆品牌Fan Beauty Diary入驻TikTok海外电商,发布视频并分享与美有关的事物。 siyushenqi.com 2025 年 8 月 5 日 480000 认知觉醒,品牌向上——2026(第四届)CGO品牌增长峰会圆满举行 2026年4月9日,第四届CGO品牌增长峰会在杭州举行,以"认知觉醒——好生意定义增长"为主题,汇聚经济学界、资本圈、品牌企业嘉宾,共探高质量增长新路径。 转自扬帆出海 2026 年 4 月 18 日 • 行业动态 256000 行业动态 OpenAI停止不支持国家API,7月9日开始执行 6月25日凌晨,有部分开发者收到了OpenAI的信,“根据数据显示,你的组织有来自OpenAl目前不支持的地区的API流量。从7月9日起,将采取额外措施,停止来自不在OpenAI支持的国家、地区名单上的API使用。” siyushenqi.com 2025 年 8 月 13 日 462000 活动回顾 | 这场汇集行业精英的物流沙龙太赞了! 后疫情时代,数字化浪潮席卷全球,伴随跨境贸易的高速发展,供应链拥堵也在不断加剧,跨境电商卖家及物流企业经历着一轮又一轮的过山车行情,缺箱、延误、涨价…… siyushenqi.com 2025 年 8 月 3 日 • 行业动态 393000 行业动态 又一波大换血,美国最火小游戏TOP10盘点 经过一个月,美国IOS榜单中的超休闲小游戏又迎来了新一轮的换血 siyushenqi.com 2025 年 8 月 25 日 490000 备战双十二,精致露营风吹向东南亚! 各位商家可以根据近期爆火的“露营经济”进行大促选品备战双十二。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 450000 行业动态 OpenAI将发布AI Agent浏览器,挑战谷歌Chrome 路透社消息,OpenAI计划在未来几周内发布一款由AI Agent驱动的网络浏览器,旨在通过人工智能彻底改变用户浏览网页的方式。 siyushenqi.com 2025 年 8 月 13 日 468000 行业动态 大模型商业化,营销率先突出重围 尽管大模型在其他领域遭遇寒冬,AppLovin公司却利用大模型在营销领域创造了华尔街奇迹,股价一年内飙升800%,市值突破千亿美元。 siyushenqi.com 2025 年 8 月 13 日 434000 行业动态 英伟达GPU,警钟敲响 在传出法国将对英伟达发起反垄断调查后不久,又有新的不好消息传出。 siyushenqi.com 2025 年 8 月 13 日 461000 为什么同样是玩游戏,TA居然喜欢看广告? 从贴吧论坛到TapTap,越来越多游戏社区里的玩家开始热衷于对广告的讨论。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 453000 规模突破20万亿韩元!国产手游出海韩国,应该关注这两大重点 千亿市场,同比增长11.2% siyushenqi.com 2025 年 8 月 24 日 • 行业动态 443000 行业动态 完美世界拟3450万美元出售乘风工作室,收购方系爆款手游《大富翁GO》研发商 完美世界及其全资子公司上海完美时空与Scopely签订了《资产购买协议》,Scopely将以3450万美元购买乘风工作室在研游戏相关的资产及办公设备。 siyushenqi.com 2025 年 8 月 17 日 423000 行业动态 OpenAI 会杀死 Manus 们吗? 7 月 18 日凌晨,OpenAI 发布端到端训练的 ChatGPT Agent(归入 o3 系列),可自动规划-执行-调用工具完成复杂任务,官方称“迄今最强 Agent”,试图提前终结 AI Agent 创业赛道。 siyushenqi.com 2025 年 8 月 13 日 448000 发表回复 请登录后评论...登录后才能评论 提交