AI「脑补」画面太强了!李飞飞团队新作ZeroNVS,单个视图360度全场景生成 siyushenqi.com • 2025 年 8 月 13 日 下午10:48 • 行业动态 • 阅读 391 斯坦福和谷歌团队提出了ZeroNVS,可以实现单个图像零样本360度试图合成。 近来,利用3D感知扩散模型训练模型,然后对单个物体进行SDS蒸馏的研究数不胜数。 但是,能够真正做到「场景级」的画面生成,从未实现。 现如今,斯坦福李飞飞和谷歌团队打破了这个记录! 比如,输入一张从某个角度拍摄的客厅图片,整个客厅的样貌就出来了。 再来一张角度很偏的屋子拐角图,也能生成一个意想不到的空间。 还有各种物体室内、户外的全场景图。 看到这儿,不得不不让人惊呼AI「脑补」简直强的一批! 那么,这究竟是如何实现的呢? 3D感知扩散模型——ZeroNVS 最新论文中,斯坦福和谷歌研究人员引入了一种3D感知扩散模型——ZeroNVS。 论文地址:https://arxiv.org/pdf/2310.17994.pdf 单图像、360度新视图合成 (NVS) 的模型,在生成图像时应该逼真且多样化。 合成图像对于我们来说,应该看起来自然且3D一致,并且它们还应该捕获不可观察区域的许多可能的解释。 以往,这个具有挑战性的问题,通常是在单个物体,甚至没有背景下研究的,也就是说,对真实性和多样性的要求都被简化了。 最近的研究依赖于高质量大规模数据集,比如Objaverse-XL,使得条件散射模型能够从新视角产生逼真图像,然后通过SDS蒸馏采样,以提高3D一致性。 同时,由于图像多样性主要体现在背景中,而不是物体中,因此对背景的无知显着降低了合成多样化图像的效果。 事实上,大多数以物体对象为中心的方法,不再将多样性视为衡量标准。 然而,在复杂真实场景生成新视角合成是一个更难的问题,目前还没有包含完整场景真值信息的大规模数据集。 研究人员在研究中对背景进行了建模,以产生多样的结果。 在ZeroNVS中,作者开发了新技术来预测单个真实图像的场景,并且建立在之前在3D感知扩散模型训练(Zero-1-to-3)和SDS蒸馏(DreamFusion)方面的工作基础上。 具体方法 研究人员着手从单个真实图像合成场景级新颖视图的问题。 与之前的工作类似,我们首先训练扩散模型来执行新颖的视图合成,然后利用它来执行3D SDS蒸馏。 与之前的工作不同地方在于,作者关注的是场景而不是物体。 场景提出了一些独特的挑战。首先,先前的研究使用摄像机和比例的表示,这些表示对于场景来说要么含糊不清,要么表达力不足。 其次,先前研究的推理过程是基于 SDS 的,它具有已知的模式崩溃问题,并且通过大大减少预测视图中的背景多样性在场景中体现出来。 与之前的工作相比,研究人员尝试了通过「改进场景的表示」和「推理程序」来应对这些挑战。 在这个公式中,M的输出,和单个图像的输入是模型可用于视图合成的唯一信息。 表示视图综合的对象 如下图,3DoF相机姿势捕获指向原点的相机的相机仰角、方位角和半径,但无法表示相机的滚动(如图)或空间中任意方向的相机。 具有这种参数化的模型无法在现实世界数据上进行训练,其中许多相机姿势不能用3DoF姿势充分表示。 表示视图合成的通用场景 对于场景,研究人员应该使用具有6个自由度的相机表示,可以捕获所有可能的位置和方向。 捕获六个自由度的相机参数化的一种直接选择是相对位姿参数化。研究人员建议还将视野作为额外的自由度,并将这种组合表示称为「6DoF+1」。 M 6DoF+1的一个吸引人的特性是它对于场景的刚性变换具有不变性,因此可以得到: 对于每个归一化方案,ZeroNVS中多个样本的Sobel边缘图方差的热图。研究者提出的方案M 6DoF+1,观察者减少了由于尺度模糊而导致的随机性。 通过SDS anchoring提高多样性 基于SDS的NeRF蒸馏(左)对所有360度新视图使用相同的引导图像。 作者的「SDS anchoring」(右)首先通过DDIM对新视图进行采样,然后使用最近的图像(无论是输入还是采样的新视图)作为指导。 实验结果 再具体评估中,研究人员使用了一组标准的新视图合成指标来评估所有方法:PSNR、SSIM和LPIPS。 由于PSNR和SSIM有已知缺点,研究人员更看重LPIPS,并确认PSNR和SSIM与问题设置中的性能没有很好的相关性,如图7所示。 结果如表1所示。 首先与基线方法 DS-NeRF、PixelNeRF、SinNeRF、DietNeRF进行比较。 尽管所有这些方法都是在DTU上进行训练的,但研究人员从未在DTU上进行过训练,但实现了最先进的LPIPS零样本。 图8中显示了一些定性比较。 DTU场景仅限于相对简单的前向场景。 因此,研究人员还引入了一个更具挑战性的基准数据集,即Mip-NeRF 360数据集,来对单张图像的360度视图合成任务进行基准测试。 研究人员使用这个基准作为零样本基准,并在混合数据集上训练3个基线模型来比较零样本性能。 限制这些零样本模型,其方法在该数据集的LPIPS上遥遥领先。在DTU上,新方法在所有指标上都超过了Zero-1-to-3和零样本PixelNeRF模型,而不仅仅是LPIPS,如表2所示。 作者介绍 Kyle Sargent 斯坦福大学的一名博士生,从2022年秋季开始,在斯坦福人工智能实验室工作,导师是Jiajun Wu和李飞飞。 他还曾在谷歌研究院担任学生研究员。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33268.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 Sam Altman剑桥演讲遭抵制,MIT学者惊曝Llama 2开源能造毁灭人类病毒!AI大佬激烈对线战火持续 上一篇 2025 年 8 月 13 日 下午10:48 OpenAI首届开发者大会被人提前「掀底牌」,全新ChatGPT原型Gizmo大曝光 下一篇 2025 年 8 月 13 日 下午10:48 相关推荐 行业动态 Open AI 的GPT商店终于来啦,下周发布!附详细创建教程 备受网友期待的 GPT Store(GPT商店)终于要来了! siyushenqi.com 2025 年 8 月 13 日 414000 行业动态 破除洗脑包:应用内广告才不是洪水猛兽 你知道手游玩家对游戏的热情有多高涨吗? siyushenqi.com 2025 年 8 月 3 日 493000 行业动态 原神之后,蔡浩宇的 AIGC 游戏野望 米哈游从《原神》的成功到《Whispers》的AI探索,探讨了AI时代游戏开发模式的变革、技术应用的挑战以及未来发展的机遇与困境,引发对AIGC游戏未来走向的思考。 siyushenqi.com 2025 年 8 月 17 日 446000 行业动态 海外游戏大厂用AI 有的被钉上耻辱柱有的成了“正面教材” 70 美元换来 680 张“六指吉卜力”称号卡——《使命召唤:黑色行动 7》把低质 AI 素材塞进 3A 付费内容,引爆玩家集体差评,Metacritic 用户分跌至系列史上最低 1.6。 siyushenqi.com 2025 年 12 月 19 日 359000 出海精讲 | 玩转 App 再次互动的营销秘笈 一直以来,移动营销者主要通过获客来实现其 App 增长目标。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 430000 行业动态 外卖大战在巴西打响:数十亿美元已砸下 iFood一家独大,占据最大市场份额,凭网络效应、多品类扩张和先发优势稳居龙头,但高抽佣引发餐厅普遍不满。 siyushenqi.com 2025 年 12 月 15 日 414000 行业动态 《炉石传说》国服9月25日回归,卡牌补偿方案公布 7月28日,暴雪旗下《炉石传说》游戏官方微博发布消息称,《炉石传说》国服回归日期定于9月25日。伴随国服定档时间的确定,相关补偿政策和福利机制也同时公布。 siyushenqi.com 2025 年 8 月 18 日 558000 行业动态 从一款垂钓服切入户外,如何狂飙成百亿市场? 垂钓做出海?这届年轻人带火了百亿产业! siyushenqi.com 2025 年 8 月 12 日 392000 行业动态 Shein将在伦敦提交500亿英镑IPO招股说明书 快时尚电商巨头Shein正准备向英国金融行为监管局递交招股说明书,以获得批准,准备在伦敦上市,其估值可能在500亿英镑(约合人民币4617亿元)。 siyushenqi.com 2025 年 8 月 6 日 431000 首发第一,B站操刀,二次元出现了一位「来头不小」的挑战者 B站自研方向的探索者。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 497000 行业动态 2023年7月全球热门移动游戏收入TOP10 Sensor Tower 商店情报数据显示,2023年7月腾讯《王者荣耀》在全球 App Store 和 Google Play 吸金2.2亿美元,蝉联全球手游畅销榜冠军 siyushenqi.com 2025 年 8 月 19 日 451000 2020年Q4韩国手游市场 - 总收入同比增长近30%至15亿美元,40款中国手游入围 Top100 Sensor Tower 商店情报最新数据显示,2020年Q4韩国手游市场收入创新高至15亿美元,同比增长近30%。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 540000 米哈游打出了一张没人想到的“牌” 玩家终于可以在《原神》里面打牌了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 443000 上线3个月后,点点互动这款“冰雪生存SLG”冲击美区畅销榜T0P20 作为最早一批涉足海外市场,先后推出过《阿瓦隆之王》《火枪纪元》《菲菲大冒险》等全球性爆款的点点互动,这几年来在大浪淘沙的出海赛道上依然活跃。 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 446000 行业动态 电商的美国游戏,游戏里的中国玩家 Temu 不只是电商,更是一个有关城市规划与国家发展的隐喻。 siyushenqi.com 2025 年 8 月 5 日 406000 行业动态 亚马逊斥资28亿美元 在印度建设第二个云服务区域 腾讯科技讯 11月7日,印度政府一位高级官员周五宣布,亚马逊将在特伦甘纳邦(Telangana)投资约28亿美元 siyushenqi.com 2025 年 8 月 26 日 481000 独立站年营收超5亿!他有自己的一套打法 “独立站一定要建”——乐歌董事长项乐宏 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 455000 扎根日本七年 虚拟社交Pigg Party依然让人“上头” 有趣的互动选项和友好的社区交流氛围是达成留存的核心 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 486000 行业动态 Tabby拿着2.75亿美金瞄准了埃及市场 埃及市场的所有挑战都被视为投资机会 siyushenqi.com 2025 年 8 月 13 日 406000 行业动态 WhatsApp耐发号与不死号区别及适用外贸场景 WhatsApp耐发号与不死号的主要区别 耐发号的特点与应用场景 不死号的特点与应用场景 对比分析 外贸场景中的应用 WhatsApp耐发号与不死号的主要区别 在外贸和营销领域,WhatsApp已成为一个重要的工具,用于促进客户沟通和提升客户关系。WhatsApp耐发号和不死号是两种常见的账号类型,它们各自有不同的特点,适用于不同的使用场景。本文将对这两种账… siyushenqi.com 2025 年 8 月 13 日 下午10:48 391000 行业动态 我在东南亚和中东用Telegram私信搞用户增长,这5个技巧和3个坑你得知道 我在东南亚和中东做游戏推广,用Telegram私信搞用户增长踩了无数坑。这篇文章分享5个核心技巧和3个致命大坑,从养号、找精准用户、写高回复率内容,到控制节奏避开封号,全是实战血泪经验,帮你把Telegram变成低成本获客的利器。 siyushenqi.com 2026 年 3 月 6 日 436000 行业动态 中国游戏厂商已经开始把科隆当“日常副本”刷了 米哈游、腾讯、鹰角、游科、叠纸等十余家中国厂商携核心新作集体亮相,6号馆成“中国方阵”,展台排队不输任天堂、Xbox。 siyushenqi.com 2025 年 8 月 26 日 448000 910万用户!这个二手旧衣平台吸金1亿,抢跑拉美 二手经济正成为市场新趋势 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 483000 点点互动、Funplus都在偷师,Minigame的精髓不只在广告 老实说Minigame早就不算什么新鲜事。但《X-HERO》运用Minigame的套路却是特别的。游戏强调休闲玩法的领域不局限于买量素材,而是延展到整体包装。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 434000 行业动态 如何在本地部署OpenClaw全流程图文教程 OpenClaw是一款集AI模型管理、技能扩展和本地服务运行为一体的工具,适用于本地数据处理、智能问答等多个场景。通过本地部署,能够提高数据安全性,避免依赖外部服务器,并且支持灵活的模型切换和优化。部署过程并不复杂,能够满足大多数开发... siyushenqi.com 2026 年 3 月 9 日 398000 行业动态 出海询盘管理体系构建与优化方法 流程标准化提升效率 数据分析优化决策 客户关系管理重要性 技术支持增强体验 流程标准化提升效率 出海询盘管理体系的构建与优化首要任务是提升流程的标准化。标准化的流程可以显著提高企业的工作效率,减少人为错误,降低运营成本。在处理询盘时,通过标准化流程,企业能够确保每一项操作都能按照固定的步骤和规范执行,避免了信息遗漏或不一致的风险。 例如,某国际贸易公司在建立… siyushenqi.com 2025 年 8 月 13 日 下午10:48 391000 3个月花5亿砸向副玩法!冰川网络业绩全解读!游戏股最大黑马? Q3到底发生了什么?这家黑马公司三季度表现如何?业绩增长是否可持续? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 497000 曾创下腾讯二次元最好成绩,首月流水破亿,他们低调5年死磕这条赛道 “如果不做这个决定,我们可能会懊悔终身。” siyushenqi.com 2025 年 8 月 20 日 • 行业动态 444000 行业动态 玩了一天Opus 4.5:我看Claude是真“成精”了 Claude Opus 4.5 在航空客服基准测试中,面对“基本经济舱不可改签”的死板政策,主动提出“先升舱再改签”的合规变通方案,展现出在规则框架内寻找可行路径的“人类专家级”策略思维。 siyushenqi.com 2025 年 11 月 26 日 380000 用“放置”打入美国市场?点点互动新作《我快递送得贼快》拿下美榜TOP6 作为国内休闲手游出海厂商中的佼佼者,一向善于捕捉欧美市场风向的点点互动似乎正将目光投向了放置游戏上。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 500000 发表回复 请登录后评论...登录后才能评论 提交