昆仑万维发布Matrix-Zero世界模型,开启空间智能新时代 siyushenqi.com • 2025 年 8 月 13 日 下午9:47 • 行业动态 • 阅读 478 昆仑万维于2月14日正式推出Matrix-Zero世界模型,成为中国首家同时推出3D场景生成和可交互视频生成模型的企业。该模型包含两款子模型:3D场景生成大模型和可交互视频生成大模型。 摘要 该模型能够将用户输入的图片转化为真实合理的3D场景,支持全局一致性、自由探索、不同风格输入、风格迁移和动态场景生成。其生成的3D场景具有物理合理性,可用于3D游戏建模、具身智能模拟等。 模型以用户输入为核心驱动,能够根据实时输入生成互动视频效果,支持离散运动控制、连续视角控制、3D场景位置追踪等功能,为用户带来流畅的交互体验。 Matrix-Zero结合AI驱动的2D视频生成与3D场景生成技术,提升了生成效率和泛化能力,增强了结果的一致性和物理合理性。该技术有望重塑数字内容创作模式,推动影视制作、游戏开发、具身智能等领域的发展。 昆仑万维作为中国AI领军企业,致力于实现通用人工智能,构建了完整的AI矩阵。Matrix-Zero的推出代表了公司对未来AI技术的提前布局,预计4月份上线后将赋能AI游戏、AI短剧等业务,推动人工智能的进一步发展。 2月14日,昆仑万维正式推出Matrix-Zero世界模型,成为中国第一家同时推出3D场景生成、可交互视频生成模型的探索空间智能的企业。 Matrix-Zero世界模型包含两款子模型: 01 3D场景生成大模型 昆仑万维自研3D场景生成大模型,支持将用户输入的图片转化为可自由探索的真实合理的3D场景,比World Labs生成场景的探索范围更大更自由,而且包括动态物理效果; 02 可交互视频生成大模型 昆仑万维自研可交互视频生成大模型,提供以用户输入为核心驱动的可交互空间智能视频生成方案,支持根据用户实时输入生成互动视频效果,具备更精准控制的action model。 图像和视频作为当今人类获取信息的主要方式,3D场景生成和视频生成技术的发展有望彻底改变内容生产的方式,大幅提升创作效率。现有的3D AIGC工具(如TripoAI、Meshy等)主要聚焦于单个物体的生成,难以构建完整且合理的3D场景。而传统3D建模方法则成本高昂、耗时冗长,难以满足大规模内容生产的需求。 相比之下,结合AI驱动的2D视频生成与3D场景生成技术,不仅能大幅提升生成效率和泛化能力,使其适应更广泛的应用场景,还能增强结果的一致性与物理合理性,从而带来更加真实、沉浸的交互体验。这种融合技术将重塑数字内容创作模式,提升影视制作、游戏开发、具身智能等领域的生产效率与创新能力,推动行业迈向更高水平的发展。 作为一项新兴的前沿技术,空间智能融合了视频生成、三维建模等多种技术,实现对物理空间的数字化重建。其核心目标是将二维图像转换为可交互的三维场景,为用户提供更加自然、直观和沉浸式的体验。在数字时代的AI浪潮中,3D场景生成、视频生成模型以及相关空间智能技术,正以破竹之势给诸多行业带来颠覆性变革,特别是具身智能、影视制作、游戏娱乐等场景。 01 昆仑万维自研3D场景生成大模型,敢为人先开拓空间智能时代 昆仑万维Matrix-Zero的3D场景生成功能,支持将用户输入的图片转化为可自由探索的真实合理的3D场景,具备全局一致性、可自由探索、支持不同风格图片输入、支持风格迁移、支持动态场景生成等亮点。 Matrix-Zero生成的内容为全局一致的3D场景,我们输入一张图片「城堡的花园一角」,可以生成一副360度环视后场景保持不变的3D场景,最后一帧回到起始帧,不会出现生成结果前后不一致现象,能够应用在3D游戏场景的可控、快速建模,以及具身智能的模拟场景快速搭建。 Matrix-Zero更亮眼的地方在于,可以支持在场景中进行任意方向的长距离、大范围的探索,为电影/短剧场景镜头生成提供了更多的可能性。 从行进方向来看,能实现先环视再前进、后退、前进后右转、360度俯视、180度回头、持续左转、环视场景、大范围前进等更大、更自由的角度探索。当我们走进一个大厅,视角和行进方向可以丝滑切换。 又或者我们在同一个3D场景中,先让它180度回头(右上图),再环视一圈(右下图),它可以流畅地切换探索方向。 无论输入图片是卡通风格或写实风格,Matrix-Zero均可生成合理3D场景。亦或对同一张输入图片,也可以支持不同风格的场景生成。Matrix-Zero能够丝滑地支持不同风格图片输入和风格迁移。 那么让我们输入一张「荷花池塘」图片和一张「位于森林中的房子」图片,Matrix-Zero即刻生成了写实的荷塘场景,也可以轻松切换输出场景风格,生成卡通风格的房子。 不仅如此,动态场景生成也不在话下,光照效果,水花动态、云雾动态等,Matrix-Zero均可生成合理3D场景,且动态符合物理规律,后续可用于生成符合真实物理规律的3D场景/视频,构建真正的世界模型。 让我们来看看自然界中普遍存在的光照效果和水流动态,Matrix-Zero生成的效果怎么样。输入一张「小桥流水」图片,Matrix-Zero能够生成栩栩如生的光照和水流效果,拟人逼真。 能够实现这样的逼真效果,得益于昆仑万维自研3D场景生成大模型,包含两个核心模块:场景布局生成模块和纹理生成模块。几何生成模块借助可微渲染和扩散模型技术,能创造出和输入图片一致的3D场景布局;纹理生成模块在图片生成模型和视频生成模型基础上训练,当用户在场景中运动时,昆仑自研3D场景生成大模型不断对场景缺失区域进行几何和纹理的补全,从而确保用户在任何位置、任何角度都能看到合理、一致的场景。 02 自研可交互视频生成大模型,让自由探索3D世界成为现实 此前,谷歌Genie(可交互生成环境)系列已经向大众展示了世界模型的能力和魅力。为达到更好的流畅性、一致性等,昆仑万维可交互视频大模型建立在先进的生成式视频模型之上,结合自主研发的用户交互模块,最终实现了一种以用户输入为核心驱动的空间智能视频生成方案。 该方法能够在保证开放领域视频生成能力的同时,进一步增强对视频内容中视角移动的精确控制,使其更加符合用户的交互需求和预期。通过这种方式,我们不仅可以生成符合用户意图的视频内容,还能够优化空间智能模型的适配性,从而拓展在虚拟环境、交互式应用以及沉浸式体验中的应用场景。 例如输入一张「夜晚的街道」图片,Matrix-Zero可以接受用户任意的键盘移动方向控制、鼠标移动,生成对应的视频能够实现前后左右移动和视角移动。 我们再输入一张「沙漠」图片,Matrix-Zero仍可以实现更自由地3D世界探索。 在Matrix-Zero中,用户输入交互模型作为可交互视频模型的核心部分,专门用于解析用户输入信息,并将其转化为视频调整信号,以确保视频内容能够准确响应用户操作,使交互体验更加直观和流畅。该模块包含多个子系统,用于处理不同类型的用户输入,使其能够精准地影响视频的动态变化。包括以下几个关键部分: 离散运动控制模块 该模块用于解析用户输入的离散控制信号,例如前进、跳跃、后退等基本运动指令。系统会对这些输入进行解析,并将其转化为对应的运动轨迹,从而影响视频中的对象行为,使其符合用户的交互需求。 连续视角控制模块 视角移动模块主要用于解析鼠标或其他输入设备的连续控制信号,例如视角变化、方向调整等动态操作。该模块能够响应用户的实时输入,并对视频内容进行相应调整,确保视角变换的平滑性和一致性。 3D场景位置追踪模块 该模块基于三维空间定位技术,提升视角移动时的位置稳定性。通过精确的空间坐标追踪,系统能够确保在不同场景下视角变换的自然性,并减少突兀的画面跳转问题,使视频内容更加连贯。 滑动窗口机制优化控制体验 该机制用于引入时间序列中的历史输入信息,使系统能够更准确地预测用户的下一步操作,并优化控制响应的平滑度。通过滑动窗口技术,系统能够提高交互的流畅性,并有效减少输入延迟,提高整体用户体验。 作为针对图片对应的3D世界中自由探索提出的视频生成系统,Matrix-Zero能够在不同环境下高效地生成高质量的视频内容,并确保视频的流畅性、一致性和合理性。 03 紧握AI时代脉搏,成为中国探索空间智能的领跑者 昆仑万维作为中国AI领军企业,始终践行公司使命——实现通用人工智能,让每个人更好地塑造和表达自我,坚持在人工智能领域自主研发,持续推出AI产品。 过去三年,昆仑万维在视觉多模态、深度学习、强化学习等关键技术方向取得了一系列成绩,同时构建起了完整的AI矩阵:最懂金融、学术的天工AI搜索,全球首个AI音乐创作平台Mureka,AI短剧平台SkyReels,AI社交产品Linky,AI游戏等,形成了“AI前沿基础研究——基座模型——AI矩阵产品/应用”的产业链。 2025年1月,「天工大模型4.0」o1版和4o版正式上线天工APP和网页。2025年2月8日,昆仑万维旗下「天工AI」正式推出PC版重大更新——上线“DeepSeek R1 + 联网搜索”功能。 勇立潮头,敢为人先。今天,昆仑万维Matrix-Zero系列模型的开发和迭代也代表了公司对未来AI技术的提前布局,进一步赋能公司AI业务矩阵。交互生成模型的落地将变革可交互内容引擎,大大提升公司AI多矩阵产品的生产力。 Matrix-Zero世界模型预计4月份上线,将对公司AI游戏生产、AI短剧生产和编辑等业务进一步赋能,为用户和开发者带来新的平台和工具。当视频模型发展到可以逼真模拟物理世界时,游戏可能不再需要传统的3D引擎,许多实验和模拟将可以在虚拟环境中进行,而影视创作也将变得更加普及,甚至成为每个人的基本技能。虽然这些看似是未来的场景,但技术正一步步将它们变为现实,视频生成模型的火热正是这一趋势的重要体现。 未来大模型发展将更加关注智能体工具和用户交互。空间智能技术不仅为未来智能体研发提供了虚拟平台,也带给用户全新的与生成世界交互的体验,大大提升了交互的多样性。空间智能技术的发展也将是通往具身智能乃至AGI路上的一个重要技术里程碑。我们仍将持续升级迭代,研发更先进的AI平台、打磨体验更好的AI产品,进一步推动人工智能的繁荣发展。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32881.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 1秒锁定7500万债务黑洞,OpenAI o系列模型7大实际应用案例 上一篇 2025 年 8 月 13 日 下午9:47 微软开源创新框架:可将DeepSeek,变成AI Agent 下一篇 2025 年 8 月 13 日 下午9:48 相关推荐 行业动态 重磅!亚马逊又一新站点要来了? 南非值得中国卖家入驻吗? siyushenqi.com 2025 年 8 月 12 日 435000 Google教程存档 Google教程存档 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 425000 行业动态 Snapchat测试TikTok风格的导航来探索公共内容 据外媒TechCrunch报道,Snapchat可能正准备更直接地挑战TikTok。 siyushenqi.com 2025 年 8 月 26 日 458000 行业动态 OpenClaw在数据抓取与分析中的应用研究 OpenClaw是一款集网页抓取、数据结构化与智能分析于一体的工具。它通过自动化抓取和AI解析,将网络信息转化为可操作的数据洞察,广泛应用于竞品监控、市场研究及决策支持,提升数据处理效率并优化信息利用价值。 siyushenqi.com 2026 年 3 月 10 日 424000 行业动态 大盘破3000亿后,我们还应该留意什么 单一品类产品此消彼长,产品断档,端转手间隔期过长 siyushenqi.com 2025 年 8 月 18 日 445000 行业动态 诞生即开创的奇迹:“宗师蛋”任凭风浪起稳坐派对之巅 12月15日的“蛋搭节”日活再破记录,单日UGC地图突破33w,其宗师地位岿然不动。 siyushenqi.com 2025 年 8 月 18 日 436000 腾讯是佛系股东?九城携手Voodoo、育碧洽谈Ohayoo 9月21日,第九城市(以下简称 九城)发布公告称,已经与全球小游戏之王、法国游戏开发及发行商voodoo签订合作协议 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 446000 行业动态 倒计时1天丨GICC 2025即将北京启幕,10月23日出海圈千人盛会只等你来! 10月23日,第六届GICC大会与您共襄盛举。 siyushenqi.com 2025 年 10 月 23 日 377000 顺路送?轻资产运营?沙特物流还能玩出新花样 总部位于利雅得的包裹递送初创公司 WeDeliver,使用人工智能和移动应用程序与附近的自由职业司机线上合作。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 468000 行业动态 大佬抱团、资本入场,AI原生游戏走到哪一步了? 大佬集体换赛道,前Stadia、腾讯、网易高管年内新设3家公司,把“AI就是游戏本身”当成核心,资本首轮即押注。 siyushenqi.com 2026 年 1 月 7 日 437000 从莉莉丝新上线的SLG游戏Warpath来看这个赛道的机会在哪里? 2020 年 9 月 16 日,莉莉丝不声不响地在 Google Play 上线了一款二战军事题材 SLG 手游 Warpath(中文名:战火勋章) siyushenqi.com 2025 年 8 月 26 日 • 行业动态 498000 行业动态 亚马逊在印度推出基于绩效的卖家收益计划,但真的能扶持小企业吗? 刚结束的印度销售季,被誉为是迄今为止规模最大的一次销售季。 siyushenqi.com 2025 年 8 月 13 日 455000 行业动态 一图Q&A | 游戏下半场打响,如何面对2023的新变量和新机遇? 腾讯全球数字生态大会「游戏专场」大咖观点速览 siyushenqi.com 2025 年 8 月 19 日 400000 行业动态 一个创意能做三个爆款?美国最火小游戏TOP10盘点 靠创意取胜的不仅仅是独立游戏,还有超休闲小游戏,这点已经成为当下业内的共识 siyushenqi.com 2025 年 8 月 26 日 435000 行业动态 2026人形机器人大逃杀:100家中国厂商谁将出局 融资断档、订单挂零、缺大模型“大脑”,2026年中国人形机器人行业首轮出清启动,第三梯队或倒掉一半,出海供应链将迎洗牌。 siyushenqi.com 2026 年 1 月 21 日 361000 “送游戏”策略让Epic商店追赶Steam,但代价是否太大了? 作为一家PC游戏商店,Epic Games Store(下文简称EGS)的用户规模正在不断增长,而这在很大程度上应归功于Epic向玩家赠送免费游戏的策略。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 578000 行业动态 OpenAI CEO万字专访:2025年实现AGI,是我一生最兴奋事! Sam Altman在斯坦福大学期间加入Y Combinator,并受到其创业氛围的深远影响,这段经历为他后来创立OpenAI奠定了基础。他与志同道合的伙伴共同创立了OpenAI,目标是实现人工通用智能(AGI)。 siyushenqi.com 2025 年 8 月 13 日 422000 行业动态 TikTok Shop,增速全球第一 2025年TikTok Shop活跃买家4亿、全年GMV近千亿美金,体量已列全球第五,增速第一。 siyushenqi.com 2026 年 1 月 8 日 386000 行业动态 2023 年聚焦游戏领域: 移动市场规模预计比 PC/Mac 市场多出 1.7 倍 data.ai 和 IDC 合作推出 2023 年聚焦游戏领域报告,深入分析游戏行业现状 siyushenqi.com 2025 年 8 月 19 日 409000 行业动态 私域神器每周合作精选 No.82|深海游戏仙侠RPG找地区独代;真人互动影视游戏海外发行需求;短剧平台寻国内外成品剧 本期精选的合作类型涵盖深海游戏仙侠RPG找地区独代;真人互动影视游戏海外发行需求;出海短剧平台寻国内外成品剧等项目。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 486000 行业动态 2025,“微短剧+”要“起飞” 2025年1月4日,国家广播电视总局办公厅发布《关于实施“微短剧 +”行动计划赋能千行百业的通知》,从多方面助力微短剧发展,使其迎来新机遇,有“起飞”之势,为微短剧行业注入了强劲动力,推动其在内容创作、产业融合等方面实现更大突破。 siyushenqi.com 2025 年 8 月 17 日 381000 刚刚腾讯游戏发布了60多款产品,大招很多,但这只是冰山一角 今年,腾讯一口气发布了60多款产品的动态,而且其中有41款都是新品。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 471000 互联网巨头和传统银行在印尼数字银行领域的博弈 我们曾在4月份举办了印尼数字银行报告解读会,吸引了超过150位来自银行、风投、互联网等行业的朋友参与,我们也收到了不少关于印尼数字银行的提问。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 498000 行业动态 调查显示Temu和Shein欧洲增长放缓 德、法、意、西、英五国约50%网购者今年曾在Temu或Shein下单,比例与2024年几乎持平,用户增长明显放缓。 siyushenqi.com 2025 年 10 月 20 日 419000 月下载量破千万,南美畅销榜夺冠,这款Party Game手游海外火了? 对于一位优秀的游戏主播而言,除了电脑、摄像头和麦克风,在ta的直播工具清单里也一定少不了火了两年的《糖豆人:终极挑战赛》。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 478000 行业动态 私域神器每周合作精选No.184|发行公司找PC游戏;横版卡牌《深鸢》寻发行;APP推广合作;美区TikTok拉新 本期精选的合作类型涵盖发行公司找PC游戏;横版卡牌《深鸢》寻发行;APP推广合作;美区TikTok拉新。接下来就一起看看吧~ siyushenqi.com 2025 年 12 月 15 日 404000 行业动态 AI 应用创业者自述:我们是怎么从大厂夹缝里抢流量的 对于非大厂的AI应用开发者和创业公司来说,获取第一波用户是一个难题,因为他们通常没有大厂的流量生态支持。 siyushenqi.com 2025 年 8 月 13 日 432000 行业动态 DeepSeek到底给中国TO B服务带来了什么? DeepSeek的出现改变了人们对AI的认知,即使在数据有限的情况下也能训练出高质量模型。其模型蒸馏技术和低价策略推动了AI技术的普惠化,激发了企业对AI的使用热情,让AI在更多领域落地成为可能。这种普惠化不仅推动了行业发展,也让技术服务商真正受益。 siyushenqi.com 2025 年 8 月 13 日 443000 EA遭荷兰罚款1000万欧元!游戏“开宝箱”时间不多了 近两年多以来,游戏业的同行们越来越受到全球监管方的“青睐”,尤其是带来大量收入的“开宝箱”玩法。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 479000 行业动态 诺奖经济学家阿西莫格鲁也担心 AI,但他不担心 AI 太聪明 阿西莫格鲁对当前对“通用人工智能”(AGI)的竞赛持批评态度,认为行业对AI的发展方向存在误解,对AI带来的经济增长和就业影响的预期过于乐观。 siyushenqi.com 2025 年 8 月 13 日 418000 发表回复 请登录后评论...登录后才能评论 提交