苹果开源高清扩散模型MDM,能在多个分辨率下同时去噪 siyushenqi.com • 2025 年 8 月 13 日 下午9:18 • 行业动态 • 阅读 426 扩散模型在生成高分辨率图像时面临算力和时间消耗的问题。 摘要 苹果研究人员开源了一种高清扩散模型,通过多分辨率去噪和NestedUNet架构提高训练效率和生成质量。 MDM引入了多分辨率扩散过程,允许模型在不同分辨率间共享信息,从而更好地捕捉数据的内在结构和特征。 MDM使用的NestedUNet架构允许模型在处理多分辨率输入时,通过嵌套结构共享特征,提高生成的连贯性和一致性。 MDM采用渐进式训练方法,先从低分辨率开始,逐步增加分辨率,减轻计算负担,帮助模型学习分辨率间的关联和转换规则。 扩散模型已经成为文本生成图像、视频的主要框架之一,其基本原理是通过逐步引入噪声并在反向过程中去除噪声来生成数据。但在生成2K、4K高分辨率时,面临巨大的算力需求和时间消耗。 为了解决这一难题,苹果的研究人员开源了高清扩散模型Matryoshka Diffusion Models(简称“MDM”), 通过引入一种特殊的扩散过程可在多个分辨率下同时进行去噪,并使用NestedUNet架构,将小尺度输入的特征和参数嵌套在大尺度的结构中,允许模型在不同分辨率间共享信息,从而提高训练效率和生成质量。 开源地址:https://github.com/apple/ml-mdm?tab=readme-ov-file 传统的扩散模型通常在单一分辨率下进行去噪操作,而MDM引入了多分辨率扩散过程,将不同分辨率的潜在变量联合起来进行处理。 例如,当生成一张图像时,MDM不仅考虑最终的高分辨率输出,还同时关注中间的低分辨率信息。这就好比在制作一幅精美的刺绣作品时,不仅要关注整体的图案设计,还要注重每一针每一线的细节,而低分辨率信息就像是刺绣中的底层线条,为高分辨率的呈现提供了基础。 在这个扩展空间中,MDM为数据点定义了时间相关的潜在变量,包含了多个不同分辨率的潜在变量。每个都有其特定的分布,并且与其他分辨率的潜在变量相互关联。 这种多分辨率的联合处理使得模型能够更好地捕捉数据的内在结构和特征,丰富了模型对数据分布的建模能力。由于在推理过程中关注了多个分辨率的信息,MDM可以将中间分辨率视为额外的隐藏变量,这些隐藏变量有助于模型更好地理解和生成高分辨率的输出 MDM使用的NestedUNet架构类似于传统的UNet架构,但在处理多分辨率输入时有一些区别。传统的UNet架构通过跳过连接和计算块来保留细粒度输入信息,而NestedUNet架构在此基础上,进一步将所有分辨率的潜在变量分组在一个去噪函数中形成嵌套结构。 这种嵌套结构使得低分辨率潜在变量的计算能够自然地为高分辨率潜在变量的计算提供有益的信息,就像套娃游戏一样,小的套娃嵌套在大的套娃中,彼此相互关联共同构成一个完整的整体。 在图像生成任务中,当模型处理不同分辨率的图像时,NestedUNet架构能够有效地整合这些信息。低分辨率的图像特征会被逐渐传递到高分辨率的部分,为高分辨率图像的生成提供重要的线索和指导。 例如,我们想生成一幅“海滩日落”的高分辨率图像。在MDM生成过程中会从一幅低分辨率的草图开始。这幅草图捕捉了海滩日落的基本元素,如天空、海面和太阳的大致轮廓。 随后,模型会在这一草图的基础上逐步增加细节,比如太阳的光辉、海浪的波纹和沙滩上的纹理。在每一级分辨率的提升过程中,模型都会利用NestedUNet架构中的特征共享机制,确保生成的图像在细节上的连贯性和一致性。 渐进式多阶段训练是MDM的另外一大优势。在传统的训练方法中,模型往往需要一次性处理所有分辨率的数据,这在高分辨率情况下会导致巨大的计算负担。 MDM则通过渐进式训练,先从低分辨率开始训练,逐步增加分辨率,直至达到所需的高分辨率输出。 这种方法不仅减轻了训练初期的计算压力,还有助于模型更好地学习到不同分辨率之间的关联和转换规则。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32603.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI 时代,语音会成为主流交互方式吗 上一篇 2025 年 8 月 13 日 下午9:18 OpenAI再获40亿美元,总融资超100亿美元! 下一篇 2025 年 8 月 13 日 下午9:18 相关推荐 【新手向】如何注册谷歌邮箱? 今天分享一个超级实用的教程——如何注册谷歌邮箱(Gmail)! siyushenqi.com 2025 年 8 月 3 日 • 行业动态 431000 行业动态 砍掉物流、两次裁员,Shopify在黑五打出漂亮一仗 线上黑五更热闹了,但新的消费信号也已出现。 siyushenqi.com 2025 年 8 月 12 日 515000 行业动态 私域神器每周精选 No.37|游戏发行寻精品游戏 多款应用寻海外流量 本期精选的合作类型涵盖精品发行寻游戏、海外应用寻流量资源等信息。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 24 日 504000 行业动态 App出海之蓝海市场:天主教/基督教婚恋交友 APP-站到Tinder的对面 作者在运营一个数万人的Facebook社区时,发现了中东地区穆斯林年轻人的交友需求,认为开发一个针对中东穆斯林的婚恋交友APP是一个商机。 siyushenqi.com 2025 年 8 月 17 日 396000 行业动态 从基础到进阶:WhatsApp群发操作全流程详解 WhatsApp群发是现代社交和商业沟通的重要工具,帮助用户提高沟通效率,节省时间。无论是个人还是企业,群发功能都可以大幅提升信息传递的便捷性。通过群发,用户能快速分享消息、图片或文件,尤其适合需要同时联系多人时。设置群发列表和使用第... siyushenqi.com 2026 年 1 月 24 日 427000 行业动态 澳洲未成年社媒禁令,Google Play收紧年龄信号,出海游戏新调整! 年龄验证或成未来出海合规运营的核心之一。 siyushenqi.com 2025 年 12 月 22 日 358000 行业动态 非游戏类应用也疯狂:《轻断食(Fastic)》全球用户获取有绝招 《轻断食(Fastic)》是根据风靡全球的间歇性断食法(Intermittent Fasting)打造出的一款简单实用的轻断食应用,总部位于德国。 siyushenqi.com 2025 年 8 月 25 日 493000 行业动态 iOS 设备上高效执行 iMessage 群发的标准流程 iMessage 群发功能在 iOS 设备上成为高效的沟通工具,广泛应用于个人和企业的通知、邀请及营销活动中。该功能提供了便捷的群发方式,支持多种媒体内容的发送,并具备较高的成功率和私密性。然而,在使用时需要注意设备设置、合规性要求和... siyushenqi.com 2026 年 1 月 25 日 459000 行业动态 GPT-5 为啥不 “胡说” 了?OpenAI 新论文讲透了 预训练阶段就不可避免——只要数据存在长尾噪声,IIV「有效性判别器」必然误判,而生成错误率 ≥ 2×判别错误率,误差被放大。 siyushenqi.com 2025 年 9 月 10 日 440000 上海游曙网络科技有限公司、汕头小小网络有限公司、广州山巅科技有限公司 确认加入PAGC2025丨第五届全球产品与增长展会 游戏对接会 上海游曙网络科技有限公司、汕头小小网络有限公司、广州山巅科技有限公司 确认加入PAGC2025丨第五届全球产品与增长展会 游戏对接会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 468000 原星际、War3主创人员成立新工作室:我们不相信RTS已死 RTS品类是dead game了吗?这不是什么新的论调,过去这个10年里,类似的说法并不罕见。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 446000 鱿鱼游戏在亚马逊爆火,爆火IP周边到底应不应该做? 这款大逃杀背景的惊悚剧爆火之后,还意外让剧中的玩家服装、士兵面罩、木头人玩偶、椪糖和其他周边走红 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 437000 行业动态 印度封禁事件启示录:单一市场的隐患 类似印度的大规模封禁不会上演!原因有二,海外内需和中国竞争力。 siyushenqi.com 2025 年 8 月 13 日 422000 行业动态 快手可灵,把压力给到了抖音剪映 视频生成大模型会是下一个竞争高地吗? siyushenqi.com 2025 年 8 月 13 日 402000 行业动态 OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围 OpenAI首席营收官内部信披露,公司与亚马逊合作成业务增长关键,同时指出与微软合作存在限制。面对企业市场竞争及即将启动的IPO,OpenAI正加速拓展多云合作与算力布局。 转自扬帆出海 2026 年 4 月 18 日 489000 《明日方舟》日本畅销榜夺冠!悠星海外选品策略换套路 三年前,谁也没想到,一家看似名不经传的公司,能够带领当时并不被人看好的国产二次元产品走出国门 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 495000 乌克兰游戏团队向玩家表达歉意:可能无法及时回复信息 昨日,俄罗斯对乌克兰宣战并以雷霆之势摧毁了乌克兰的海空力量。突然爆发的战争让整个乌克兰陷入窘境,普通的乌克兰人民原本平静的生活被打破,逃亡或者躲进地下以免遭受战争的波及。 在游戏界,乌克兰本土的游戏厂商Sengi Games、Frogware、GSC Game World等在推特上纷纷表达对战争的不满,并呼吁玩家们帮助停止战争。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 492000 竞品扎堆,足够卷的古风模拟游戏,会是小团队版的“SLG赛道”吗? 古风模拟经营赛道还能出爆款吗? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 499000 爆发式增长10倍!盘点炙手可热的便携式储能品牌 带你走进便携式储能行业,一起了解当下值得关注的便携式储能品牌。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 427000 行业动态 全世界都开始用拼多多了 拼多多越走越远,越做越大。 siyushenqi.com 2025 年 8 月 6 日 442000 行业动态 海外哪些社媒适合营销推广外贸和跨境电商生意? 在海外推广外贸和跨境电商时,选择合适的社交媒体平台至关重要。以下是主流和新兴平台的详细分析,以及针对不同业务的策略建议: 一、主流平台及适用场景1. Facebook- 优势:全球用户超30亿,广告系统成熟,适合B2C和B2B。- 适用场景:- B2C:通过Facebook Shops直接销售,利用Groups建立社群。- B2B:通过LinkedIn联动投… siyushenqi.com 2025 年 8 月 13 日 下午9:18 426000 谷歌云游戏变土豪?砍自研,买游戏单款千万美金 一个月之前,谷歌正式宣布裁撤Stadia位于洛杉矶和蒙特利尔的第一方游戏工作室,正式宣告谷歌游戏梦的破碎。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 443000 行业动态 美国制裁,苹果下架,伊朗年轻人“解锁”创业“ 2020年早些时候,苹果将RadickRadio从其应用商店下架。 siyushenqi.com 2025 年 8 月 25 日 455000 行业动态 Shopee印尼直播监管升级,出海卖家面临双重合规压力 Shopee印尼加强直播违规监控,严重违规永久限播;印尼拟规范平台佣金。出海卖家面临平台合规与政策监管双重压力。 siyushenqi.com 2026 年 1 月 29 日 361000 早上开会,下午走人,Shopee中国大裁员 跑得快,不一定是好事。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 425000 出海五年烧掉百亿,留给快手的时间不多了 在出海的道路上,也许会有艰难险阻,但我们会无比坚定地走下去。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 468000 行业动态 坏AI,到底能有多坏? 到 2030 年代结束时,世界将发生彻底、不可辨认的变化。一个新的世界秩序将被建立,很快,人工智能将统治世界。 siyushenqi.com 2025 年 8 月 13 日 411000 订单腰斩、上万库存滞销,有头部大卖亏本清仓 旺季前的至暗时刻:卖家订单暴跌,大卖亏本清仓 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 413000 行业动态 阿里开源新版Qwen3模型,霸榜文本表征 阿里巴巴开源了两款Qwen3系列新模型:Qwen3-Embedding 和 Qwen3-Reranker。这两款模型专为文本表征、检索与排序任务设计,基于Qwen3基础模型训练,支持119种语言,继承了Qwen3在多语言文本理解方面的优势。 siyushenqi.com 2025 年 8 月 13 日 460000 行业动态 世界最好小参数开源大模型!超谷歌、Meta,手机、平板轻松运行 Mistral.AI发布了两款小参数模型Ministraux,分别是Ministraux 3B和8B,专为移动设备设计。 siyushenqi.com 2025 年 8 月 13 日 487000 发表回复 请登录后评论...登录后才能评论 提交