文本直接生成2分钟视频,即将开源模型StreamingT2V siyushenqi.com • 2025 年 8 月 13 日 下午11:10 • 行业动态 • 阅读 412 这为开发长视频模型提供了技术思路。 Picsart人工智能研究所、德克萨斯大学和SHI实验室的研究人员联合推出了StreamingT2V视频模型。通过文本就能直接生成2分钟、1分钟等不同时间,动作一致、连贯、没有卡顿的高质量视频。 虽然StreamingT2V在视频质量、多元化等还无法与Sora媲美,但在高速运动方面非常优秀,这为开发长视频模型提供了技术思路。 研究人员表示,理论上,StreamingT2V可以无限扩展视频的长度,并正在准备开源该视频模型。 论文地址:https://arxiv.org/abs/2403.14773 github地址:https://github.com/Picsart-AI-Research/StreamingT2V(即将开源) StreamingT2V生成的2分钟视频 传统视频模型一直受训练数据、算法等困扰,最多只能生成10秒视频。Sora的出现将文生视频领域带向了一个全新的高度,突破了诸多技术瓶颈,仅通过文本就能生成最多1分钟的视频。 而StreamingT2V采用了创新的自回归技术框架,通过条件注意力、外观保持和随机混合三大模块,极大的延长了视频的时间,同时保证动作的连贯性。 简单来说,StreamingT2V使用了一种“击鼓传花”的方法,每一个模块通过提取前一个视频块中的表示特征,来保证动作一致性、文本语义还原、视频完整性等。 生成的1分钟视频 条件注意力模块 条件注意力模块是一种“短期记忆”,通过注意力机制从前一个视频块中提取特征,并将其注入到当前视频块的生成中,实现了流畅自然的块间过渡,同时保留了高速运动特征。 先使用图像编码器对前一个视频块的最后几帧(例如20帧)进行逐帧编码,得到相应的特征表示,并将这些特征送入一个浅层编码器网络(初始化自主模型的编码器权重)进行进一步编码。 然后将提取到的特征表示注入到StreamingT2V的UNet的每个长程跳跃连接处,从而借助前一视频块的内容信息来生成新的视频帧,但不会受到先前结构、形状的影响。 外观保持模块 为了保证生成视频全局场景、外观的一致性,StreamingT2V使用了外观保持这种“长期记忆”方法。 外观保持从初始图像(锚定帧)中提取高级场景和对象特征,并将这些特征用于所有视频块的生成流程。这样做可以帮助在自回归过程中,保持对象和场景特征的连续性。 此外,现有方法通常只针对前一个视频块的最后一帧进行条件生成,忽视了自回归过程中的长期依赖性。通过使用外观保持,可以使用初始图像中的全局信息,从而更好地捕捉到自回归过程中的长期依赖性。 随机混合模块 前两个模块保证了StreamingT2V生成的视频大框架,但是在分辨率、质量方面还有欠缺,而随机混合模块主要用来增强视频的分辨率。 如果直接增强质量会耗费大量AI算力、时间,所以,随机混合采用了自回归增强的方法。 首先,研究人员将低分辨率视频划分为多个长度为24帧的视频块,这些块之间是有重叠的。然后,利用一个高分辨率的视频模型,对每一个视频块进行增强,得到对应的高分辨率视频块。 例如,有两个重叠的视频块A和B,重叠部分包含20帧。对于重叠部分的每一帧,随机混合模块会从A块和B块中各取出一帧,然后对这两帧进行加权平均,生成一个新的混合帧。通过这种方式,重叠部分的每一帧都是A块和B块对应帧的随机混合。 而对于不重叠的部分,随机混合模块则直接保留原始视频块中的帧。经过随机混合后的视频块就可以输入到高分辨率模型中进行增强。 研究人员指出,如果让相邻的两个视频块直接共享完全相同的重叠帧,会导致视频在过渡处出现不自然的冻结和重复效果。而随机混合模块通过生成新的混合帧,很好地规避了这个难题,使得块与块之间的过渡更加平滑自然。 实验数据显示, StreamingT2V生成的1分钟、2分钟长视频,不仅保持了高分辨率和清晰画质,整体的时间连贯性也得到了很大提升。视频中的物体运动姿态丰富,场景和物体随时间的演变更加自然流畅,没有突兀的断层或冻结情况出现。 本文素材来源StreamingT2V论文,如有侵权请联系删除 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33635.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 突破时长限制,效果紧逼Sora,一站式AI长视频生成平台上线 上一篇 2025 年 8 月 13 日 下午11:10 重磅!无需注册,可直接使用ChatGPT 下一篇 2025 年 8 月 13 日 下午11:10 相关推荐 Shein统计数据一览 Shein,中国最大的快时尚跨境电子商务公司,近年来因其为多样化客户群体提供时尚实惠的服装、配饰和美容产品而变得流行起来,现已成功渗透到全球市场。本文整理了关于Shein的统计数据,供企业和品牌参考。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 545000 行业动态 WhatsApp超级号与普通号功能对比及适用场景分析 WhatsApp超级号与普通号功能对比 主要功能差异 适用场景分析 对比分析 常见问题 WhatsApp超级号与普通号功能对比 随着社交应用的日益普及,WhatsApp逐渐成为企业和个人用户的主要沟通工具。WhatsApp提供了两种主要账号类型:超级号和普通号。两者在功能和适用场景上存在显著差异,分别适合不同的用户群体。超级号针对的是企业和大规模用户互动,而… siyushenqi.com 2025 年 8 月 13 日 下午11:10 412000 是的,Supercell的新游戏在海外悄悄测试了 几天前,Supercell在北京时间晚9点毫无预兆地公布了三款新作。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 303000 行业动态 一大拨卖家将跟阿里出海 马云:我们希望在全球培育10亿消费者。 siyushenqi.com 2025 年 8 月 12 日 402000 横扫日韩畅销第一,让国内玩家等了4年,这款大作刚拿版号火速开测了 它能否在新品爆发阶段杀出重围? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 460000 《我的安吉拉2》暑期版本焕新上线,“会说话的汤姆猫家族IP”为何总有这么多出人意料的惊喜? 过去十余年中,在历经多轮变革的手游行业,虽然大部分曾红极一时的游戏或IP都已黯然退场,但仍然有一部分脍炙人口的长线精品IP成功扛过了时间与市场的双重考验,至今仍活跃在大众视野里。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 520000 年营收2500万美元!一个很有艺术感的成人用品站 “日访问量1万,转化率高达5.7%,它是怎么做到的?” siyushenqi.com 2025 年 8 月 12 日 • 行业动态 452000 茄子快传获快手和腾讯投资,从“印度国民工具”转型超级平台 印度的国民应用早已不是传输工具。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 591000 开放生态+AIGC:2023社交新叙事 重估社交:下一个超级APP正在诞生 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 441000 沃尔玛在线杂货销售额再创新高,继续死磕电商 掘金全球电商市场,沃尔玛还需要拥有更多王牌。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 398000 2021年8月成功出海的中国手游TOP30 - 《原神》、《PUBG Mobile》收入超1亿美元,SLG再添新贵 Sensor Tower商店情报平台最新数据显示,2021年8月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 470000 行业动态 市占率第一!韩国本土最大B2B电商平台多卖库最新政策解读 三大优势:覆盖地区广、交易数量多、强大的天然流量 siyushenqi.com 2025 年 8 月 12 日 478000 行业动态 年度流水20亿,港澳台畅销第一,紫龙还有一张王牌要打 一位新的挑战者。 siyushenqi.com 2025 年 8 月 19 日 519000 又一大厂高管创业,推出跨境服装品牌独立站AHA SELECTED 原网易考拉CEO张蕾 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 492000 行业动态 GICC 2025丨从内容出海到生态布局,听大咖热议游戏产业破局增长的“关键战场”! 10月23日,“GICC 2025·全球游戏前沿观察峰会”精彩分享内容回顾。 siyushenqi.com 2025 年 10 月 31 日 425000 行业动态 AdsGram、七麦数据 确认入驻PAGC 2025丨第五届全球产品与增长展会! AdsGram、七麦数据 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 506000 行业动态 100万下载撬动600万美金付费,RPD超ReelShort,又一家AI厂商“杀入”北美短剧赛道 不靠烧钱,也能做出高付费短剧? siyushenqi.com 2026 年 1 月 21 日 338000 行业动态 腾讯拿下库洛游戏51%股权,库洛未来将保持自主运营 广州库洛科技有限公司发生了工商变更,英雄互娱退出了股东行列,而腾讯方的股份增持至51.4%,成为控股股东。 siyushenqi.com 2025 年 8 月 17 日 536000 行业动态 谷歌将在AI概览中加入购物广告 谷歌方面介绍,在早期的测试中,谷歌在 AI 概览上方和下方投放广告,但现在计划在窗口中尝试增加搜索广告和购物广告 siyushenqi.com 2025 年 8 月 13 日 448000 2020年Q2日本手游市场 - 总收入创新高近43亿美元,中国手游收入翻三倍 Sensor Tower 商店情报最新数据显示,2020年Q2日本手游市场收入达42.7亿美元,创历史新高 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 450000 行业动态 阿里开源创新AI Agent:媲美Deep Research 人类认知瓶颈遇上信息爆炸,闭源 Deep Research 难解全行业难题。 siyushenqi.com 2025 年 8 月 13 日 412000 行业动态 5月国产游戏版号发布:86个版号,腾讯网易莉莉丝均在列 5月游戏版号公布《七日世界》《众神派对》《西普大陆》《勇者与装备》《王牌战士2》《依露希尔:星晓》等精品游戏均得到版号。 siyushenqi.com 2025 年 8 月 24 日 485000 行业动态 如何在本地部署OpenClaw全流程图文教程 OpenClaw是一款集AI模型管理、技能扩展和本地服务运行为一体的工具,适用于本地数据处理、智能问答等多个场景。通过本地部署,能够提高数据安全性,避免依赖外部服务器,并且支持灵活的模型切换和优化。部署过程并不复杂,能够满足大多数开发... siyushenqi.com 2026 年 3 月 9 日 398000 行业动态 重磅!阿里巴巴悄悄推出 allyLikes平台,欲抢食SHEIN市场 SHEIN从默默无闻到今年大火,引来了诸多看客。 siyushenqi.com 2025 年 8 月 13 日 434000 行业动态 刘强东拿下新加坡物流枢纽 3.06亿新元拿下新加坡4处物流园、22亿欧元要约收购欧洲Ceconomy、全资收购香港佳宝超市,三笔交易合计超200亿元,用物流+零售网络同时锁定东南亚、欧洲和大湾区门户。 siyushenqi.com 2025 年 9 月 10 日 476000 筹备5年,《穿越火线》发起了最大规模的一轮进攻 很长一段时间,我们习惯于把《穿越火线》(下称“CF”)和长线运营联系到一起来聊。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 490000 行业动态 中东掘金:泛娱乐App的跨界狂潮 中东市场,一个充满异域风情和商业活力的地区,近年来逐渐成为全球泛娱乐App出海的热点。在这片古老而又年轻的土地上,1v1社交、Dating、语聊和直播等应用场景蓬勃发展,为出海企业提供了丰富的机遇。本文将深入探讨这些场景下App的特点、融合趋势以及面临的挑战和机遇。 siyushenqi.com 2025 年 8 月 18 日 519000 因为“Monster”商标,魔爪饮料和游戏公司发生纠纷 无法理解。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 499000 游戏大厂涌向新加坡?腾讯、米哈游、莉莉丝都出动了 究竟是什么能让这个金融中心摇身一变,成为游戏圈中的香饽饽呢?大量企业入驻导致新加坡物价房价飙升的事情是否属实?又有多少厂商跟随着出海发行的时代热潮来到这片陌生的国度?这些都促使我们重新去了解这个换了模样的新加坡。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 481000 行业动态 不走寻常路,这家SLG大厂搞了一款“开放世界”卡牌? 这是一款风格和玩法都比较独特的产品。 siyushenqi.com 2025 年 8 月 18 日 520000 发表回复 请登录后评论...登录后才能评论 提交