60秒直出3D内容,纹理逼真!Meta最新3D Gen模型实现60倍速生成 siyushenqi.com • 2025 年 8 月 13 日 下午11:33 • 行业动态 • 阅读 407 Meta的GenAI团队在最新研究中介绍了Meta 3D Gen模型:可以在不到1分钟的时间内从文本直接端到端生成3D资产。 在图像生成和视频生成这两个赛道上,大模型仅用了两年多的时间就卷得如火如荼。 即使是效果堪比Sora的Gen-3、Luma等模型发布,也很难引起曾经的轰动反应。 你可能会疑惑,AI还能玩出新花样吗? Meta放出的最新研究告诉你——能! 不管是图像还是视频,即使能做出3D效果,终究只是二维空间中的像素组成的。 Meta最近发布的3D Gen模型,则能实现1分钟内的端到端生成,从文本直出高质量3D资产。 不仅纹理清晰、形态逼真自然,而且生成速度比其他替代方案加快了3-60倍。 目前,模型还没有开放试用API以及相应的代码,官方消息中也没有透露下一步的发布时间。 只能看到官方demo但没法试用,已经让很多网友心痒难耐了。 「把这些可爱的小东西3D打印出来该有多好。」 但好在,Meta放出了技术报告,让我们可以细致观摩一下技术原理。 论文地址:https://ai.meta.com/research/publications/meta-3d-gen/ Meta 3D Gen 在电影特效、AR/VR、视频游戏等领域中,创作3D内容是最耗时,也是最具挑战性的环节之一,需要很高的专业技能和陡峭的学习曲线。 这件事对人类困难,对AI来说也同样困难。 相比于图像、视频等形式,生产级的3D内容有更多方面的严格要求,不仅包括生成速度、艺术质量、分辨率,还包括3D网格的结构和拓扑质量、UV图结构以及纹理清晰度。 此外,3D生成还面临数据方面的挑战。 虽然有数十亿张图像和视频可供学习,但其中适合训练的3D内容量却少了3~4个数量级。因此,模型只能学习这些非3D的视觉内容,并从二维的观察中推断出三维信息。 3D Gen模型则克服了这些困难,在领域内迈出了第一步。 模型最大的亮点在于支持基于物理的渲染(PBR,physically-based rendering),这对于在应用场景中实现3D资产的重新照明非常必要。 此外,经过专业艺术家的评估,3D Gen在生成同等质量,甚至更优内容的同时,缩短了生成时间,提升了指令跟随性能。 生成出3D对象后,模型还支持对其纹理进行进一步的编辑和定制,20s内即可完成。 方法 这种更加高效的优质生成,离不开模型pipeline的精心设计。 3D Gen的生成主要分为两步,由两个组件分别完成——文本到3D对象生成器AssetGen和文本到纹理生成器TextureGen。 第一阶段:3D资产生成。根据用户提供的文本提示,使用3D AssetGen模型创建初始3D资产,即带有纹理和PBR材质图的3D网格,大约花费30s。 第二阶段:纹理生成。根据第一阶段生成的3D资产和用户文本提示,使用3D TextureGen模型生成更高质量的纹理和PBR图,大约花费20s。 其中,第二阶段的TextureGen也可以单独拿出来使用。如果有一个之前生成的,或者艺术家自己创作的无纹理3D网格,提供描述外观的文本提示后,模型也能在20s左右的时间中为它从头生成纹理。 AssetGen和TextureGen这两个模型有效地结合了3D对象的三种高度互补的表示:视图空间(物体图像)、体积空间(3D形状和外观)以及UV空间(纹理)。 AssetGen项目地址:https://assetgen.github.io/ 给定文本描述,AssetGen首先利用一个多视角、多通道版本的图像生成器生成多张图像,随后生成物体的一致视图。 据此,AssetGen中的重建网络在体积空间中提取出物体的初始版本,并进行网格提取,确立其3D形状和初始纹理。 最后,TextureGen利用视图空间和UV空间的生成结果,对纹理进行重生成,在保持指令忠实度的同时提升纹理质量。 论文地址:https://ai.meta.com/research/publications/meta-3d-texturegen-fast-and-consistent-texture-generation-for-3d-objects/ 上述的每一个阶段都是建立在Meta强大的文生图模型家族Emu之上,并使用了内部数据集进行微调,主要包括渲染过的合成3D数据。 单独使用TextureGen模型可以为同一个物体生成不同的纹理表面 不同于许多SOTA方法,AssetGen和TextureGen都是前馈生成器,因此能实现快速、高效的部署。 将3D生成任务以这种方式划分为两个阶段,并在同一个模型中集成对象的多个表示空间,这种pipeline的组合是Meta重要的创新。 实验证明,不仅AssetGen和TextureGen两个部件都能分别取得更好的效果,它们结合后形成的3D Gen也能以68%的胜率超过其他模型。 实验 针对文本到3D资产生成的任务,论文将3D Gen与其他公开可用的常用方法进行了对比,并从用户调研、定性实验两个方面进行了评估。 定性结果 从生产结果上直观来看,3D Gen能够应对不同范畴、不同类别物体的生成任务,而且指令跟随的忠实度甚至好过很多文生图模型。 比如让吉娃娃穿蓬蓬裙、让腊肠犬穿热狗装这样人类都很难想象的场景,3D Gen也按照要求生成了合理的结果。 生成结果的多样性也非常惊艳。比如提示模型只生成Llama(羊驼),他就能给出下图中的13种不同结果,风格、形状、纹理各异,可以说想象力很丰富了。 图6、7、8则对比了3D Gen和其他模型对同一文本提示的生成结果。 对于一些比较有挑战性的提示,3D Gen的细节效果有时逊色于Meshy v3等模型,但这涉及到一个权衡问题:要展现纹理中的高频细节,代价就是有时会出现视觉失真。 下面这个多物体的复杂场景任务中,你觉得哪个模型的表现更好? 虽然成功的案例很多,但对目前的模型来说,翻车依旧时常发生,而且每个模型都有自己独特的翻法。 比如CSM Cube经常在物体几何上出问题,前后视角不一致,或者干脆生成了「双头大猩猩」;Tripo 3D的光照效果会出现「一眼假」;Rodin Gen 1和Meshy 3.0有时缺少物体细节的渲染。 至于Meta的3D Gen,在放出来的案例中就出现了物体几何结构不完整、纹理接缝、指令不跟随(最右侧的海象没有叼烟斗)等多方面的问题。 虽然没人能在Meta的报告中战胜Meta,但被拿来当「靶子」的作者,还是站出来为自己工作辩护了一番。 用户调研 对于模型的文本到3D生成,人类评审将从两方面进行评估:提示忠实度、视觉质量。 按不同的背景,评审被分成了两组:(1)普通用户,没有3D方面的专业知识,(2)专业的3D艺术家、设计师和游戏开发者。 评估采用了DreamFusion引入的404个经过去重的文本提示,并根据内容复杂性分为三类:物体(156个),角色(106个)和物体角色组合(141个)。 每个3D生成结果都会以360度全景视频的方式呈现给评审者,不同模型进行分别测试或者随机的A/B测试。 表2展示了提示忠实度方面的的评估结果。在这一指标上,3DGen在两个阶段的得分都优于其他行业方法,紧随其后的是T23D生成器。 如表3所示,A/B测试中还添加了对几何视觉质量以及纹理细节的评测。 作者发现,普通用户更倾向于喜欢那些纹理更锐利、生动、逼真且细节详实的3D结果,但对较明显的纹理和几何伪影不是很关注。专业的3D艺术家则会更重视几何与纹理的准确性。 在图3中,作者分析了视觉质量、几何、纹理细节和纹理伪影的表现率等指标,如何随着文本提示描述的场景复杂度发生变化。 图表显示,虽然基准模型在简单提示下的表现与3D Gen相当,甚至更优,但随着提示复杂度逐渐增加,3D Gen开始反超,这也与图7描述的定型结果一致。 结论 作为一个统一的流程,3DGen整合了Meta的基础生成模型,用于文本到3D生成,具备纹理编辑和材料生成能力。 通过结合AssetGen和TextureGen的优势,3DGen能够在不到一分钟的时间内根据文本提示生成高质量的3D对象。 在专业3D艺术家的评估中,3DGen的输出在大多数情况下更受青睐,尤其是在复杂提示下,而且速度快3到60倍。 虽然Meta目前对AssetGen和TextureGen的整合比较直接,但它开创了一个非常有前景的研究方向,基于两个方面:(1)在视图空间和UV空间中的生成,(2)纹理和形状生成的端到端迭代。 如同Sora的出现会深刻影响短视频、电影、流媒体等众多行业一样,3D Gen也具有同样巨大的潜力。 毕竟,小扎还是心心念念他的元宇宙。而AI驱动的3D生成,对于在元宇宙中构建无限大的虚拟世界也非常重要。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33913.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 对话腾讯混元刘煜宏:做大模型可以有「深圳速度」,但不能跳步 上一篇 2025 年 8 月 13 日 下午11:33 全球AI面临6000亿美元难题,人工智能泡沫正在接近临界点! 下一篇 2025 年 8 月 13 日 下午11:33 相关推荐 行业动态 我从5款虐哭主播的游戏中找到一些“奇怪”的规律 越难的游戏玩家越爱看,心态是不是真有点奇怪? siyushenqi.com 2025 年 8 月 18 日 419000 行业动态 软硬兼施?亚马逊一边打压印度企业,一边加大印度市场投资 全球电子商务巨头亚马逊的销售业绩节节高攀,其第三季度的收入达到了961亿美元,较去年同期增长37% siyushenqi.com 2025 年 8 月 13 日 437000 《忍者必须死》之后,老派题材如何再度发光? 忍者,一直都是游戏的热门题材之一,拥有庞大的粉丝基础,受到广大玩家的喜爱。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 405000 行业动态 一周要闻NO.159丨在美国TikTok最大的对手出现了;海外最爆的SLG新品要杀回国内了;Meta超级智能实验室人员名单公布 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 454000 中国“热”席卷欧洲的背后:烧不起天然气,那就“烧”电热毯吧 随着国际形势变化,中国电热产品走红欧洲,这次规模盛大的爆发式增长对整体行业有什么影响,又能给中国生产商留下什么启示?让我们不妨冷静下来,看看增长背后的“真相”。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 446000 行业动态 美团回应中东局势影响:必要时暂停Keeta服务 美团旗下Keeta表示,正密切关注中东局势,将按当地政府指引调整运营。必要时会临时限制或停止特定区域服务,以保障社区安全。 siyushenqi.com 2026 年 3 月 5 日 237000 莉莉丝的SLG宇宙有了“四部曲”,新游《Age Of KITA》来自异星世界 从《剑与家园》到《万国觉醒》再到最近横扫日韩市场的《战火勋章》,想必很少有人会质疑莉莉丝SLG品类的全球发行能力。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 527000 行业动态 2022年11月中国手游发行商全球收入排行榜 2022年11月共43个中国厂商入围全球手游发行商收入榜TOP100。 siyushenqi.com 2025 年 8 月 24 日 465000 行业动态 天猫卖家探索“跨境出海”,当下是好时机吗? 近年来,跨境电商热潮吸引了一大批工厂以及国内电商企业出海淘金 siyushenqi.com 2025 年 8 月 13 日 421000 私域神器每周精选 No.29|数十款精品小游戏及足球手游寻海外发行 本期精选的合作类型涵盖多款精品手游资源合作与流量需求,优质发行寻游戏产品合作。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 • 行业动态 277000 三周年之际推出新赛制,《三国志·战略版》的比赛让玩家打嗨了 《三国志·战略版》在用户数量突破8000万之后,究竟是怎么让大量玩家对新玩法产生兴趣,这次又是怎么在赛事上下功夫的? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 508000 行业动态 一分钟奖励3万,这个风口正在火过短剧 漫剧爆发,2025年单月全网播放量破百亿,半年上线3000部、流水激增12倍,全年市场规模预计超200亿元,已接棒真人短剧成为新“流量收割机”。 siyushenqi.com 2026 年 1 月 8 日 450000 一场关于东南亚电商2022年的回顾 从不同维度呈现东南亚消费者喜好和产品需求定位,或可为卖家在2023年进一步布局东南亚提供思路。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 444000 行业动态 美国提高关税对外贸行业的冲击有哪些? 美国提高关税对外贸行业的冲击是多方面的,涉及全球供应链、企业成本、市场价格以及国际关系等多个层面。以下是主要影响的分析: 1. 直接成本上升,削弱价格竞争力进口商品价格上涨:关税增加直接推高进口成本,导致终端产品价格上升。例如,美国对中国商品加征关税后,部分电子产品、机械设备、纺织品的价格显著上涨。出口企业利润压缩:出口商可能被迫分担部分关税成本,利润空间被… siyushenqi.com 2025 年 8 月 13 日 下午11:33 407000 行业动态 周星驰首部短剧上线:首集播放量超千万,徐志胜登上热搜 《金猪玉叶》会是又一部超级短剧吗? siyushenqi.com 2025 年 8 月 18 日 449000 行业动态 吊打斯坦福炒虾机器人!GPT-4加持Alter3扮鬼玩吉他,Figure 01看视频学会煮咖啡 机器人的ChatGPT时刻,真来了!初创公司Figure自家机器人看了10小时视频,学会了煮咖啡。另一边,东京大学GPT-4加持的Alter3机器人,能够模仿人类做出任何动作。而人类只需发出自然语言指令即可,完全不需要编程! siyushenqi.com 2025 年 8 月 13 日 407000 行业动态 蔡浩宇新作首曝幕后:经历惨败的38岁技术宅,还想拯救世界 米哈游首次跳出幻想二次元,用高精度写实+心理学题材做都市开放世界,30分钟实机已显叙事、玩法、技术全面升维。 siyushenqi.com 2025 年 11 月 21 日 337000 行业动态 一夜变天还是杞人忧天,Sora能否开启短剧行业洗牌时代? 围绕Sora发布这件事,全网话题不断,短剧行业当然也不例外。 siyushenqi.com 2025 年 8 月 18 日 423000 行业动态 《Coin Master》总收入突破 20亿美元 Moon Active社交博彩手游《Coin Master》迎来高速增长,目前总收入已超过20亿美元。 siyushenqi.com 2025 年 8 月 25 日 432000 出海增量难寻?GAMEON 游戏应用出海营销峰会为你破译增长密码 2023年7月26日,TikTok for Business 在上海举办 GAMEON 游戏应用出海营销峰会,给出海厂商提供了破题的新思路。 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 513000 行业动态 网易《世界之外》制作人已提离职:或因不接受工作调整 黑马乙游《世界之外》制作人璇子因不接受网易高层拟定的职位与汇报线调整,已提出离职,目前交接启动但程序未走完,内部仍在挽留。 siyushenqi.com 2025 年 10 月 20 日 477000 行业动态 字节版“小红书”开始发力,美柚入局战火升级 根据广大大 App Intelligence 等模块数据,笔者整理出2022年7月出海移动应用(非游戏)收入、下载、投放TOP20榜单,帮助更多移动应用从业人员了解全球移动市场变化趋势。 siyushenqi.com 2025 年 8 月 24 日 523000 行业动态 起量新标杆!9个月破1500万用户,看流媒体平台如何依靠短剧爆火东南亚? 抓住机遇,风口掘金。 siyushenqi.com 2025 年 8 月 17 日 411000 行业动态 2026年2月中国应用/游戏厂商出海收入Top30榜 本文统计周期为2026年2月1日到2026年2月28日。 转自扬帆出海 2026 年 3 月 23 日 281000 华为举办“耀星·领航计划”出海系列峰会,助力开发者私域神器! 8月中下旬,华为相继在北京及成都等出海开发者集中城市举办了“耀星•领航计划出海峰会” siyushenqi.com 2025 年 8 月 26 日 • 行业动态 473000 中国云服务走向全球?先把 Status Page 搞定 Status Page 很简单,下决心公开 Status Page 很难! siyushenqi.com 2025 年 8 月 3 日 • 行业动态 346000 “漫画睫毛”风靡TikTok!播放量超2400万 不知你有没有发现,如今的 TikTok 正在掌控着全球美妆趋势。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 404000 行业动态 WhatsApp磐石系统与绿标号联合应用实战分享 WhatsApp磐石系统介绍 绿标号与磐石系统的整合应用 提升企业沟通效率 增强客户服务质量 实战案例与用户反馈 WhatsApp磐石系统介绍 WhatsApp磐石系统作为一款专为企业打造的企业级沟通平台,旨在提升企业与客户之间的沟通效率。通过集成强大的消息传递和协作工具,它为各种行业的企业提供了便捷的沟通渠道,帮助企业更高效地进行日常沟通、客户管理和服务优… siyushenqi.com 2025 年 8 月 13 日 下午11:33 407000 SHEIN凭什么征服了美国的年轻人? 近日,“闷声发大财”的中国快时尚电商 SHEIN 获得了美国青少年的喜爱,其受欢迎程度甚至超过了亚马逊。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 423000 在《小小蚁国》之后,星合互娱又出了一款蚂蚁SLG 2021年6月,星合互娱在海外市场推出了一款与众不同的SLG游戏《小小蚁国》。凭借着差异化题材和写实美术风格,游戏登顶了海外9个市场的iOS畅销榜。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 540000 发表回复 请登录后评论...登录后才能评论 提交