哈工大发布动画多智能体，文本一键生成连贯动画 siyushenqi.com • 2025 年 8 月 13 日 上午11:29 • 行业动态 • 阅读 462 随着大规模多模态模型的兴起，利用AI技术生成叙事性视频成为研究热点。但现有方法如MINT Video和TTT-Video在生成长视频时，存在维持视觉连贯性和叙事一致性等挑战，单个视频片段生成虽质量提升，多片段组合时又出现过渡生硬、内容重复等问题，影响观看体验且限制了AI在动画制作领域的应用范围。 摘要 哈尔滨工业大学发布了创新框架AniMaker，通过多个智能体协同工作，实现从文本故事到动画视频的自动化转换。该框架主要由导演智能体、摄影智能体、评审智能体和后期制作智能体4个主要智能体组成，各司其职且相互协作完成动画创作。 是动画创作流程起点，先利用Gemini 2.0 Flash模型根据文本故事生成含镜头描述的原始脚本，再验证脚本一致性和叙事流畅性以确保故事连贯性。在故事板实现阶段，构建包括角色库和背景库的视觉库，角色库由Hunyuan3D模型生成角色参考图像，背景库由FLUX1-dev模型生成背景参考图像，之后通过GPT - 4o模型根据验证后镜头描述和视觉库图像生成关键帧，作为后续视频生成基础。 摄影智能体负责将故事板转化为具体视频剪辑，面临角色外观扭曲、动作不一致及物体不一致等挑战，AniMaker引入MCTS - Gen策略解决这些问题。MCTS - Gen运行包括扩展、模拟、回溯和选择四个主要步骤，通过生成多个候选剪辑并从中选择最优剪辑，确保剪辑自身质量高且与前后剪辑保持一致性和连贯性。 评审智能体对生成视频剪辑进行评估，确保质量和连贯性。因现有评估指标存在局限，AniMaker提出AniEval评估框架，在EvalCrafter框架基础上改进扩展，涵盖整体视频质量、文本 - 视频对齐、视频一致性、运动质量等多个维度的14个细粒度指标，还支持基于上下文的评分，为多镜头动画生成提供更准确评估。 随着大规模多模态模型的兴起，如何利用AI技术生成叙事性视频成为研究热点。现有的方法，如MINT Video和TTT-Video，尝试一次性生成完整视频，但在处理长视频时，尤其是在维持视觉连贯性和叙事一致性方面，仍然面临诸多挑战。 此外，单个视频片段的生成虽然在质量上有所提升，但在多片段组合时，常常出现过渡生硬、内容重复等问题。这些问题不仅影响了观众的观看体验，也限制了AI在动画制作领域的应用范围。 为了解决这些难题，哈尔滨工业大学发布了创新框架AniMaker，通过多个智能体的协同工作，实现从文本故事到动画视频的自动化转换。 AniMake框架主要由4个主要智能体组成：导演智能体、摄影智能体、评审智能体和后期制作智能体，这些智能体各司其职，相互协作共同完成动画的创作过程。 导演智能体是整个动画创作流程的起点，其任务是从文本故事中生成详细的脚本和故事板。导演智能体首先利用Gemini 2.0 Flash模型根据输入的文本故事生成包含镜头描述的原始脚本。然后，通过验证脚本的一致性和叙事流畅性，确保故事的连贯性。 接下来，在故事板实现阶段，导演智能体构建一个视觉库，包括角色库和背景库。角色库利用Hunyuan3D模型生成角色的参考图像，背景库则通过FLUX1-dev模型生成背景的参考图像。再通过GPT-4o模型根据验证后的镜头描述和视觉库中的图像生成关键帧，这些关键帧将作为后续视频生成的基础。 摄影智能体负责将故事板转化为具体的视频剪辑。这一过程面临的挑战包括角色外观的扭曲、动作的不一致性以及物体的不一致性。为了解决这些问题，AniMaker引入了MCTS-Gen策略。MCTS-Gen的核心思想是通过生成多个候选剪辑，并从中选择最优的剪辑，以确保每个剪辑不仅自身质量高，而且与前后剪辑保持一致性和连贯性。 MCTS-Gen的运行过程包括四个主要步骤：扩展、模拟、回溯和选择。在扩展阶段，摄影智能体从当前路径的终端节点生成多个初始候选剪辑，并利用AniEval框架对这些剪辑进行评分和排序。在模拟阶段，根据UCT得分进一步扩展树结构，选择得分最高的节点生成新的候选剪辑。回溯阶段将新生成剪辑的评分向上传播，更新父节点的评分。 最后，在选择阶段，选择评分最高的剪辑加入到当前路径中，并继续生成新的候选剪辑，直到达到预设的候选数量。 评审智能体的任务是对生成的视频剪辑进行评估，以确保其质量和连贯性。现有的评估指标，如CLIP Score和Inception Score，虽然能够在一定程度上评估视频生成模型的性能，但在区分同一模型生成的不同候选剪辑时往往表现不佳。此外，广泛使用的VBench评估框架也存在诸多局限性，例如其“动态度”指标过于简单，仅测量像素变化，而不能准确反映角色动作；“一致性”指标则基于单剪辑分割，不适合多镜头动画的评估。 为此，AniMaker提出了AniEval评估框架。AniEval在EvalCrafter框架的基础上进行了改进和扩展，涵盖了整体视频质量、文本-视频对齐、视频一致性、运动质量等多个维度的14个细粒度指标。例如，DreamSim指标用于评估帧间的一致性； CountScore指标用于检测对象在镜头间出现或消失的问题；面部一致性指标则通过在Anime Face Dataset数据集上训练的InceptionNext模型来评估动画角色面部的一致性。AniEval还支持基于上下文的评分，即在评估每个剪辑时，会考虑其前后的剪辑内容，从而为多镜头动画生成提供更准确的评估。 后期制作智能体负责将视频剪辑序列转化为最终的动画影片。这一过程包括三个阶段。首先，利用Gemini 2.0 Flash生成详细的旁白脚本，指定旁白内容、对话、情感语调以及期望的声音音色。 然后，根据角色属性选择合适的声音档案，并根据文本长度进行音视频同步的评估。通过CosyVoice2模型生成音频轨道，并验证其持续时间和内容的准确性。最后，利用MoviePy库进行影片的组装，整合经过验证的字幕，并进行全面的编辑，以确保视觉、旁白和字幕之间的精确同步。 相关阅读外贸展会后怎么跟进客户？72小时、7天、30天的完整SOP网易辟谣：王怡未离职，部分营销团队并入事业部OpenAI内部信"摊牌"：微软联盟已成枷锁，将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股；众擎机器人完成2亿美元B轮融资；红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付；社交APP伊拉克支付提现渠道；收巴西各类流量；海外买量｜私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店；9家游戏公司财报深度拆解；非洲市场又一电商巨头退场；Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西：先打假冒伪劣智元机器人，一分为四！ 本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/32264.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器：海外私域营销拓客软件 德国机器人公司，拟融83亿 上一篇 2025 年 8 月 13 日 上午11:29 AI商业化：一场创新投入的持久战 下一篇 2025 年 8 月 13 日 上午11:29 相关推荐 行业动态 土耳其宣布将接连封禁Tango、Azar等29款社交/社媒应用，已获法院批准，海外开发者又要“人人自危”了？ 社交应用出海土耳其，不能踩的红线又多了几条。 siyushenqi.com 2025 年 9 月 12 日 507000 爆款频出？尼尔手游后又一款新游登顶日本App Store免费榜 2月24日资讯，今日于日本地区上线的Cygames《ウマ娘 プリティーダービー》（暂译名：赛马娘 Pretty Derby）公测后立即登顶日本App Store免费榜，畅销榜排名第3位。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 485000 行业动态 六小龙留不住字节大神 字节系高管正在集体被AI六小龙“退货”，如前字节皮皮虾负责人张心皓调离核心岗位，前今日头条用户产品负责人张前川变相离职，前字节剪映产品经理明超平从月之暗面离职创业等。 siyushenqi.com 2025 年 8 月 13 日 408000 行业动态 Telegram群发技术架构：从Webhook到消息队列的实现 Telegram的群发功能在企业营销和自动化通知等场景中发挥重要作用。随着用户规模的扩大，群发系统的高效管理和优化成为技术挑战之一。本文从Webhook到消息队列的转变，分析了实现中的技术难点和解决方案，并探讨了可能的优化和扩展方向。 siyushenqi.com 2026 年 1 月 25 日 387000 行业动态 挣钱越来越难后，游戏引擎厂商们选择加入虚拟世界 游戏引擎的路子还有很多。 siyushenqi.com 2025 年 8 月 18 日 469000 行业动态 亚马逊云服务疑似发生故障，知名应用受影响，官方称“正在努力缓解并了解根本原因” 突发，多国用户发现热门应用无法访问。 siyushenqi.com 2025 年 10 月 21 日 441000 行业动态 成功！马斯克官宣首个Neuralink脑机接口人类，意念操控鼠标，全民机器人时代来了？ 刚刚，马斯克宣布，首个植入Neuralink大脑芯片的人类已经完全康复，患者仅用意念，就可以控制鼠标。Neuralink开创的脑机接口时代，终于来了！马斯克离自己的星辰大海，又近了一步。 siyushenqi.com 2025 年 8 月 13 日 297000 行业动态 网石上半年营收9.3亿美元，超过50%来自北美市场 目前大约70名员工。 siyushenqi.com 2025 年 8 月 19 日 476000 行业动态 月收入增长65%，AI融入视频社交再出海，智能对话如何玩出“新花样”？ 社交应用+AI玩法，拓展变现新思路。 siyushenqi.com 2025 年 8 月 17 日 418000 行业动态 美国供应商拒绝降价，Temu处境有点艰难 受关税限制后，Temu被迫转向美国本土供应商，但多数卖家因亚马逊“最低价格协议”拒绝提供同款低价商品，要求Temu必须销售差异化或独家产品。 siyushenqi.com 2025 年 8 月 5 日 460000 行业动态 蔡浩宇AIGC创业公司曝光，前微软B站大牛加盟 在社媒预热，看来是米哈游创始人蔡浩宇创立AI公司后一个崭新的里程碑节点。 siyushenqi.com 2025 年 8 月 13 日 426000 行业动态 中国跨境电商上演三国杀？ 今年二季度，跨境电商行业呈现明显复苏态势。 siyushenqi.com 2025 年 8 月 12 日 430000 连续爆量，SLG大黑马《文明与征服》开启了哪些营销新打法？ 2021年底，国内SLG赛道迎来了新超级黑马《文明与征服》，从产品设计到上线的宣发造势，它的表现在很长一段时间内，均为业界的话题中心。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 431000 行业动态 人形机器人Figure宣布与OpenAI终止合作 Figure公司创始人兼CEO Brett Adcock宣布终止与OpenAI的合作协议，并称Figure在自主研发的端到端机器人AI方面取得重大突破，承诺30天内展示创新成果。 siyushenqi.com 2025 年 8 月 13 日 444000 行业动态 亚马逊多站点上线首次扫描退款功能，大大简化退货流程 积极迎合消费者需求，亚马逊扩大首次扫描退款功能适用范围。 siyushenqi.com 2025 年 8 月 12 日 453000 行业动态 从“渠道思维”到“生态思维”：构建你的外贸数字营销协同网络 本文提出外贸营销应从割裂的“渠道思维”升级为“生态思维”，将独立站、社媒平台、通讯工具等整合为协同网络，实现流量、信任与数据的循环增值，从而构建更具韧性和效率的增长体系。 siyushenqi.com 2026 年 3 月 6 日 488000 行业动态 《Splitgate》开发者：怎样做一款有新意的竞技射击游戏？ 1047首席执行官兼创始人伊恩·普罗克斯(Ian Proulx)在近期接受外媒采访时表示，他对《Spiltgate》的爆火没有足够的心理预期：随着海量玩家涌入游戏，1047需要在尽量积极响应玩家需求，与充分考虑开发团队的能力之间把握平衡。 siyushenqi.com 2025 年 8 月 25 日 538000 5年研发、耗资数亿的大作，朝夕光年：今年将全球公测 最近，喜欢西方幻想题材的玩家等来了一个重磅消息：朝夕光年旗下SGRA工作室研发的《代号：Dragon》(Dragonheir: Silent Gods)公布即将于5月24日在港澳台地区开启PC及安卓端的计费不删档测试，玩家将抢先体验内容丰富的S0赛季。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 488000 行业动态 Telegram矩阵：优化外贸企业客户服务的利器 Telegram矩阵简介 Telegram矩阵的核心特点 Telegram矩阵对外贸企业的优势 对比分析 常见问题 Telegram矩阵简介 随着外贸行业的迅速发展，企业面临的客户沟通需求日益增加。为了提高客户服务效率、增强客户体验，许多外贸企业开始寻求更加智能、高效的客户服务解决方案。Telegram矩阵正是针对这一需求而设计的创新平台，旨在为外贸企业提供… siyushenqi.com 2025 年 8 月 13 日 上午11:29 462000 网易想再造SLG爆款？新游已率先在海外开启了测试 自古以来，人类就对星辰大海有着无限的遐想，也由此诞生了不少相关的文化作品。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 477000 行业动态 华为正式发布AI推理新技术 UCM（Unified Cache Manager）是面向大模型推理场景的 KV-Cache 为中心的记忆数据管理器，主打“高吞吐、低时延、低成本”，用于解决“推不动、推得慢、推得贵”的行业痛点。 siyushenqi.com 2025 年 10 月 30 日 499000 行业动态 美团发布LongCat-Flash-560B开源大模型，MIT协议，多项能力实测第一冲顶开源王座 美团 8 月 31 日发布 5600 亿参数开源大模型 LongCat-Flash，并以 MIT 许可证全量开源，配套官网与部署指南。 siyushenqi.com 2025 年 9 月 2 日 531000 表现回暖？日本手游市场前三季度的收入已快追平2019年 根据Sensor Tower的数据，在今年的前三季度，日本手游市场在App Store和Google Play的收入达到了全球移动游戏市场收入的22%。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 465000 行业动态 上线3个月流水破十亿，晶核数值膨胀后变现迎大考 关注流水的可持续性 siyushenqi.com 2025 年 8 月 18 日 655000 行业动态 Tinder采取措施让用户更容易举报那些不良分子 上个月，Bumble推出了一项新功能，可以防止不良分子利用该交友应用的 "未匹配 "功能躲避受害者。 siyushenqi.com 2025 年 8 月 25 日 420000 暴雪前创始人再创业，重新汇聚了一小批“暴雪原班人马” 已经退休的前暴雪娱乐总裁、联合创始人麦克·莫汉有点闲不住，2018年宣布退休之后，他并没有彻底地闲下来享受线下生活。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 453000 《战双》首周登顶日本下载榜；两年时间，出海日本游戏收入增长3倍 | 日韩出海秀 在本期日韩畅销榜上，《第五人格》和《奇迹之剑》分别是出海日本、韩国游戏中收入最高的。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 465000 PAGC 2025 | 再度来袭！万人+出海展会5月与您相聚广州！ PAGC 2025定档，5.21—5.22广州，不见不散！ siyushenqi.com 2025 年 8 月 17 日 • 行业动态 458000 Adjust：2021年超休闲游戏占全球移动游戏下载量的27% 在超休闲游戏、沉浸式角色扮演游戏等不同的垂直品类中，开发商营销、广告、变现的手段有很大不同。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 462000 朝夕光年海外突然曝光新品：炉石之父亲自操刀，“漫威”IP也来了！ 9月10日（当地时间9月9日），Nuverse（朝夕光年出海品牌），Second Dinner与Marvel Entertainment（漫威娱乐）于D23世博会上宣布将在全球发行CCG游戏《MARVEL SNAP》，并开启预约渠道。产品的上线时间定在10月18日，上线平台包含移动端与PC端。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 514000 发表回复 请登录后评论...登录后才能评论 提交
