华为、腾讯开源AniPortrait：用音频、图片生成会说话的视频 siyushenqi.com • 2025 年 8 月 13 日 下午11:31 • 行业动态 • 阅读 464 华为、腾讯的研究人员联合开源了创新视频模型——AniPortrait。 华为、腾讯的研究人员联合开源了创新视频模型——AniPortrait。 用户通过AniPortrait用音频和人物图片就能自动生成音频同步的视频，例如，让李云龙、新恒结衣、蔡徐坤的图片轻松唱歌、说话。 这与今年2月阿里集团发布的EMO模型，以及谷歌发布的VLOGGER在功能方面几乎一样，但那两个是闭源的。 开源地址：https://github.com/Zejun-Yang/AniPortrait 论文地址：https://arxiv.org/abs/2403.17694 AniPortrait的核心框架主要分为两大块，首先通过AI从语音中提取3D面部网格和头部姿态,然后将这些中间表示作为生成条件，用于生成逼真的人像视频序列。 Audio2Lmk音频提取模块 Audio2Lmk借助了语音识别模型wav2vec 2.0，从原始语音波形中提取丰富的语义表示,精准捕捉发音、语调等细微特征,为后续的面部动作捕捉奠定了基础。 然后，研究人员设计了两个并行的小型网络,分别从wav2vec提取的特征中学习3D面部网格序列和头部姿态序列。 负责3D面部网格预测的是一个仅由两层全连接层组成的极简网络。虽然结构十分简单,但这种设计保证了高效运算,并极大提升了准确性。 为了增强头部姿态与语音的节奏、音调等因素关系更贴切一些,研究人员使用了Transformer解码器来捕捉这种细微的时序关联性。 该解码器的输入是wav2vec2.0提取的语音特征,在解码过程中,Transformer会通过自注意力和交叉注意力机制,自动学习语音与头部姿态之间的内在联系,最终解码出与音频节奏高度一致的头部姿态序列。 在训练阶段,研究人员使用了内部采集的近一小时高质量演员语音作为数据源,加上公开的人脸数据集HDTF。再通过监督学习的方式,提升了从语音到3D面部表情和头部姿态的高精度映射。 Lmk2Video视频生成模块 Lmk2Video的作用主要是将Audio2Lmk捕捉到的3D人脸数据和姿态数据渲染成高分辨率的视频。 Lmk2Video使用了目前在人物生成视频领域比较好的模型AnimateAnyone，能够通过给定的人体姿态序列作为条件,生成高质量、连贯自然的视频。 但是人的面部区域的细节远比身体更复杂,动作幅度也更小,需要极高的精度才能捕捉到微小的嘴型变化和面部肌肉运动。 原版AnimateAnyone的姿态引导模块仅由几层卷积层构成,将人体姿态数据编码后直接融合到主干网络的初级阶段。 这种设计在较大尺度的人体动作上还勉强可行,却难以准确捕捉面部细节。所以，研究人员对AnimateAnyone进行了改良。 他们将图片的人物面部关键点也作为输入,并通过注意力模块与目标关键点序列交互,使网络能更好地理解面部特征与整体外观之间的内在联系,进一步提升动画的精细度和一致性。 此外，为了增强网络对嘴型变化的敏感度,研究人员还将2D关键点渲染成姿态图像时,特意用不同颜色区分上下嘴唇,这样网络就能更清晰地感知到微小的嘴型细节和变化趋势。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/33901.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 人刚毕业，颠覆整个AI界：扒一扒Sora两带头人博士论文 上一篇 2025 年 8 月 13 日 下午11:31 “控制狂魔”与“弄权高手”之争！马斯克退出OpenAI内幕曝光 下一篇 2025 年 8 月 13 日 下午11:32 相关推荐 云游戏模式跑通了？米哈游手游版《云·原神》月收入或达2000万元 年初，曾经气势汹汹要做行业领军者的谷歌Stadia再受打击，商业内幕发布的一份报告称，谷歌已经降低了Stadia业务在内部等级，这也意味着Stadia业务方向也从原先的toC转向toB。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 537000 行业动态 Almedia GmbH 大中华区销售经理 王锦涛 确认担任 GICC2025丨第六届全球互联网产业CEO大会游戏峰会演讲嘉宾！ Almedia GmbH 大中华区销售经理 王锦涛 确认担任 GICC2025丨第六届全球互联网产业CEO大会游戏峰会演讲嘉宾！ siyushenqi.com 2025 年 9 月 30 日 430000 行业动态 TikTok，急着完成500亿KPI TikTok电商2024年的GMV目标为500亿美金，对照2023年200亿美金的目标，翻了一倍多。 siyushenqi.com 2025 年 8 月 6 日 422000 游族2020上半年预计收入超25亿，同比增长高达44.5% 今日（7月17日），游族网络发布了2020年半年度业绩预告，期内公司录得收入超25亿元人民币，同比增长超44.5% siyushenqi.com 2025 年 8 月 26 日 • 行业动态 440000 行业动态 老二次元耗时 2 年，造出会闹脾气的 3D AI 女友 SingularDance 用 3D AI 女友《星夜颂歌》切入陪伴赛道，主打“超人格化 AI”，强调角色人格独立、情绪记忆与真实感，而非模板化对话。 siyushenqi.com 2025 年 8 月 26 日 444000 成都方阅文化传播有限公司、北京水思维科技发展有限公司、佛山市之桃影视传媒有限公司确认加入PAGC2024丨短剧对接会 成都方阅文化传播有限公司、北京水思维科技发展有限公司、佛山市之桃影视传媒有限公司确认加入PAGC2024丨短剧对接会 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 522000 王牌对王牌，天美与微软Xbox Game Studios达成战略合作 5月13日，腾讯天美工作室群（以下简称天美）对外宣布，已正式与微软Xbox Game Studios（以下简称XGS）达成深度战略合作关系。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 448000 行业动态 旭科翻译、V5pay 确认入驻PAGC 2025丨第五届全球产品与增长展会！ 旭科翻译、V5pay 确认入驻PAGC 2025丨第五届全球产品与增长展会！ siyushenqi.com 2025 年 8 月 17 日 475000 出货量超过华为，排名全球第4！抢眼的营收背后谁是“推手”？ 打着国潮、国货标签的中国品牌又火了，不同的是，这些火出国门的本土品牌还加速了国货出海时代的到来。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 447000 2022年比利时、卢森堡和荷兰电商市场报告 比荷卢经济联盟互联网普及率也高于整个欧洲，该地区的数字化成熟度也因此产生了更多线上消费者。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 451000 上线10天收入破200万 海彼用这款新品给出了Rogue新解法 作为一个天然契合“创意”二字的品类，可以说Rogue赛道从未缺少新星。而今年的Rogue新星，或许要落在《Sssnaker（蛇蛇貪吃）》身上。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 527000 行业动态 刚刚，智谱又融了30亿！超200亿估值引领大模型创业赛道 智谱完成了一轮30亿人民币的融资，这是近三个月来的第二轮融资。新资方包括多家战投及国资，君联资本等继续跟投。此前，智谱在9月获得中关村科学城公司以投前200亿估值的领投，成为国内估值率先超过200亿的大模型创业企业。 siyushenqi.com 2025 年 8 月 13 日 440000 爆卖万单，年售9000万美金，Ohuhu马克笔从欧美到印度的跨境故事 多渠道运营、多样化营销，Ohuhu海外市场“绽放光芒”！ siyushenqi.com 2025 年 8 月 13 日 • 行业动态 440000 结合市场变化，让我们聊聊为什么说整合营销是游戏出海新的生存法责？ 在游戏出海竞争白热化阶段，如何找到适合市场的生存法则，成为游戏厂商们亟需思考的问题。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 461000 亚马逊Review再大改！ Review数量依旧很重要。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 433000 行业动态 App出海之蓝海市场：天主教/基督教婚恋交友 APP-站到Tinder的对面 作者在运营一个数万人的Facebook社区时，发现了中东地区穆斯林年轻人的交友需求，认为开发一个针对中东穆斯林的婚恋交友APP是一个商机。 siyushenqi.com 2025 年 8 月 17 日 390000 行业动态 Telesign 解决方案工程师 杨玉青 GICC2025丨第六届全球互联网产业CEO大会跨境电商线上峰会演讲嘉宾！ Telesign 解决方案工程师 杨玉青 GICC2025丨第六届全球互联网产业CEO大会跨境电商线上峰会演讲嘉宾！ siyushenqi.com 2025 年 10 月 7 日 393000 行业动态 邵氏影城也要进军游戏行业了，已成立合营公司 间接全资附属HollywoodHK与邵氏影城香港成立合营，注册资本2850万港元；现金80%由游莱出资，邵氏以IP抵价20%。合营将专注游戏开发，并表后成为游莱附属。 siyushenqi.com 2025 年 9 月 10 日 466000 2020中国手游出海年度盘点 - 37款手游海外收入超过1亿美元 2020年，全球手游市场在宅经济下迎来快速增长，积极布局海外市场的中国手游企业无疑最先抓住这一波红利 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 340000 行业动态 “PyTorch之王”携15亿薪酬杀回Meta PyTorch灵魂人物Andrew Tulloch离开Thinking Machines，正式回归Meta，结束仅一年多的“外部流浪”。 siyushenqi.com 2025 年 10 月 13 日 403000 行业动态 data.ai 2月中国非游戏厂商及应用出海收入30强：字节、TikTok再稳榜首 2023年2月中国非游戏厂商及应用出海收入30强榜单出炉 siyushenqi.com 2025 年 8 月 18 日 478000 行业动态 雷鸟有了阿里量身定制的通义模型，AI眼镜大战开始结盟了 雷鸟V3 AI拍摄眼镜外观与普通眼镜相似，重量轻，佩戴感接近粗边框眼镜；具备拍照、录像功能，虽然画质与手机有差距，但能满足一般用户需求；更重要的是其AI能力，可翻译多国语言、识别车辆、查看食物配料表等。 siyushenqi.com 2025 年 8 月 13 日 419000 行业动态 ChatGPT创作小说获顶级文学奖！33岁女作家用AI写《东京共鸣塔》，评委无一人辨认 ChatGPT打辅助拿下文学大奖！33岁日本作家Rie Kudan便用AI写的小说获得了日本顶级文学奖「芥川奖」。 siyushenqi.com 2025 年 8 月 13 日 427000 行业动态 2024年2月成功出海的中国手游 - 《Whiteout Survival》蝉联收入冠军，《Last War》荣登增长榜首 2024年2月中国手游产品在海外市场收入及下载量排行榜出炉 siyushenqi.com 2025 年 8 月 18 日 476000 行业动态 RCS群发在数字化客户互动中的作用与价值 RCS群发通过多媒体与互动能力，弥补传统短信在体验与功能上的不足，正在成为企业数字化客户互动的重要手段。其在提升沟通效率、增强用户参与度及结合AI与数据应用方面展现出显著价值。 siyushenqi.com 2026 年 1 月 25 日 325000 免费榜前3，这款新游如何凭借一个玩法突围MMO红海？ 中秋假期期间，由迅龙创威研发、星辉游戏发行的九宠助战仙幻手游——《幻世九歌》正式上线。这款主打东方幻想题材和九只战灵即时跟随助战玩法的MMO手游，不仅首发当天登上了iOS免费榜前3的位置，还同时获得各渠道重点推荐。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 500000 行业动态 官宣！苹果税调整尘埃落定，又有两类开发者直接受益 3月15日起实施，苹果中国大陆佣金率历史性下调。 siyushenqi.com 2026 年 3 月 18 日 243000 行业动态 网易筹备6个月，《魔兽世界》提前开服 今天上午6点48分，原定于今天12点开服的《魔兽世界》国服正式服提前开服，但依旧难顶压力，“开服即炸服”。更早之前，网易雷火称，为迎接国服回归已筹备6个多月。 siyushenqi.com 2025 年 8 月 18 日 467000 行业动态 字节的熟悉打法初现成效，也能看到其布局工具赛道的野心 字节的熟悉打法初现成效 siyushenqi.com 2025 年 8 月 19 日 506000 行业动态 字节加码跃入日本短剧市场，有别于Melolo，新APP开始试水付费模式了 日本短剧市场付费还是比东南亚成熟。 siyushenqi.com 2025 年 8 月 17 日 481000 发表回复 请登录后评论...登录后才能评论 提交
