手机上0.2秒出图、当前速度之最,谷歌打造超快扩散模型MobileDiffusion siyushenqi.com • 2025 年 8 月 13 日 下午10:52 • 行业动态 • 阅读 389 MobileDiffusion 是如何优化得到的呢? 在手机等移动端侧运行 Stable Diffusion 等文生图生成式 AI 大模型已经成为业界追逐的热点之一,其中生成速度是主要的制约因素。 近日,来自谷歌的一篇论文「MobileDiffusion: Subsecond Text-to-Image Generation on Mobile Devices」,提出了手机端最快文生图,在 iPhone 15 Pro 上只要 0.2 秒。论文出自 UFOGen 同一团队,在打造超小扩散模型的同时, 采用当前大火的 Diffusion GAN 技术路线做采样加速。 论文地址:https://arxiv.org/abs/2311.16567 下面是 MobileDiffusion 一步生成的结果。 那么,MobileDiffusion 是如何优化得到的呢? 让我们先从问题出发,为什么优化是必须的。 当下最火的文本到图像生成都是基于扩散模型来实现的。依赖于其预训练模型强大的基本图像生成能力和在下游微调任务上的稳健性质, 我们看到了扩散模型在诸如图像编辑、可控生成、 个性化生成以及视频生成的非凡表现。 然而作为 Foundation Model, 它的不足也很明显,主要包括了两方面:一是扩散模型的大量参数导致计算速度慢,尤其是在资源有限的情况下;二是扩散模型需要多步才能采样,这进一步导致很慢的推理速度。拿最火的的 Stable Diffusion 1.5 (SD) 为例,其基础模型包含了接近 10 亿参数,我们在 iPhone 15 Pro 上将模型量化后进行推理,50 步采样需要接近 80s。如此昂贵的资源需求和迟滞的用户体验极大的限制了其在移动端的应用场景。 为了解决以上问题,MobileDiffusion 点对点地进行优化。(1) 针对模型体积庞大的问题,我们主要对其核心组件 UNet 进行了大量试验及优化,包括了将计算昂贵的卷积精简和注意力运算放在了较低的层上,以及针对 Mobile Devices 的操作优化,诸如激活函数等。(2)针对扩散模型需要多步采样的问题, MobileDiffusion 探索并实践了像 Progressive Distillation 和当前最先进的 UFOGen 的一步推理技术。 模型优化 MobileDiffusion 基于当下开源社区里最火的 SD 1.5 UNet 进行优化。在每次的优化操作后, 会同时衡量相对于原始 UNet 模型的性能的损失,测量指标包括 FID 和 CLIP 两个常用 metric。 宏观设计 上图左边是原始 UNet 的设计示意, 可以看出基本包括了 Convolution 和 Transformer,Transformer 又包括了 Self-Attention 和 Cross-Attention。 MobileDiffusion 对 UNet 优化的核心思路分为两点:1)精简 Convolution, 众所周知,在高分辨率的特征空间上进行了 Convolution 是十分耗时的, 而且参数量很大,这里指的是 Full Convolution;2)提高 Attention 效率。和 Convolution 一样,高 Attention 需要对整个特征空间的长度进行运算,Self-Attention 复杂度和特征空间展平后长度成平方关系,Cross-Attention 也要和空间长度成正比。 实验表明将整个 UNet 的 16 个 Transformer 移到特征分辨率最低的内层,同时每一层都剪掉一个卷积,不会对性能有明显影响。达到的效果就是:MobileDiffusion 将原本 22 个 Convolution 和 16 个 Transformer,可以极致地精简到 11 个 Convolution 和 12 个左右 Transformer,并且这些注意力都是在低分辨率特征图上进行的,因为效率会极大提升,带来了 40% 效率提升和 40% 参数剪切,最终模型如上图右图所示。和更多模型的对比如下: 微观设计 这里将只介绍几种新颖的设计,有兴趣的读者可以阅读正文, 会有更详细的介绍。 Decouple Self-Attention and Cross-Attention 传统 UNet 里 Transformer 同时包含 Self-Attention 和 Cross-Attention,MobileDiffusion 将 Self-Attention 全部放在了最低分辨率特征图,但是保留一个 Cross-Attention 在中间层,发现这种设计既提高了运算效率又保证了模型出图质量 Finetune softmax into relu softmax 众所周知在大部分未优化情况下是难以并行的,因此效率很低。MobileDiffusion 提出直接将 softmax 函数 finetune 到 relu,因为 relu 是每一个点的激活,更为高效。令人惊讶的是,只需要大概一万步的微调,模型 metric 反而提升了,出图质量也有保障。因此 relu 相比于 softmax 的优势是很明显的了。 Separable Convolution (可分离卷积) MobileDiffuison 精简参数的关键还在采用了 Seprable Convolution。这种技术已经被 MobileNet 等工作证实是极为有效的,特别是移动端,但是一般在生成模型上很少采用。MobileDiffusion 实验发现 Separable Convolution 对减少参数是很有效的,尤其是将其放在 UNet 最内层,模型质量经分析证明是没有损失的。 采样优化 当下最常采用的采样优化方法包括了 Progressive Distillation 和 UFOGen, 分别可以做到 8 steps 和 1 step。为了证明在模型极致精简后,这些采样依然适用,MobileDiffusion 对两者同时做了实验验证。 采样优化前后和基准模型的比较如下,可以看出采样优化后的 8 steps 和 1 step 的模型,指标都是比较突出的。 实验与应用 移动端基准测试 MobileDiffusion 在 iPhone 15 Pro 上可以得到当前最快的出图速度,0.2s! 下游任务测试 MobileDiffusion 探索了包括 ControlNet/Plugin 和 LoRA Finetune 的下游任务。从下图可以看出,经过模型和采样优化后,MobileDiffusion 依然保持了优秀的模型微调能力。 总结 MobileDiffusion 探索了多种模型和采样优化方法,最终可以实现在移动端的亚秒级出图能力,下游微调应用依然有保障。我们相信这将会对今后高效的扩散模型设计产生影响,并拓展移动端应用实例。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33329.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 揭秘DeepMind、OpenAI成立内幕,马斯克、奥特曼、佩奇、哈萨比斯的爱恨情仇...... 上一篇 2025 年 8 月 13 日 下午10:52 奥特曼宫斗戏新爆料:自己投芯片公司,让OpenAI签下3.6亿订购意向书 下一篇 2025 年 8 月 13 日 下午10:52 相关推荐 新卖家18天带出爆款,“哑铃手链”走红TikTok 三年新冠疫情,打破了酷爱健身的美国人日常生活常态 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 480000 虹视游戏工作室制作人樊瑶:模拟经营类游戏的原型设计方法 在大会次日举行的Indie专场,来自虹视游戏工作室的游戏制作人樊瑶分析了模拟经营类Ineid game的原型设计方法。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 425000 行业动态 宇树科技的资本版图曝光 宇树科技科创板IPO获受理,估值一年翻倍至120亿元,揭示人形机器人从技术探索向商业化落地关键转折。 转自扬帆出海 2026 年 3 月 23 日 300000 行业动态 音乐版Sora!文生超逼真歌曲,可自定义歌词、时间延长 由前谷歌Deepmind 研究人员开发的文生音乐产品Udio,全面免费开放测试。 siyushenqi.com 2025 年 8 月 13 日 468000 不买量能成为爆款?这款手游全球下载量破5000万 最近,成为“新闻”的是一款名为《我的安吉拉2》的养成产品。身为休闲游戏但不买量,却依然获得了高人气,更加剧了戏剧性,同时证明即便是买量内卷的今天,不买量也有春天。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 490000 行业动态 乐元素投资日本《爱丽丝幻境》开发商,中国游戏厂商海外投资加速 乐元素的海外收购之举。 siyushenqi.com 2025 年 8 月 24 日 604000 《胜利女神:NIKKE》发布首月收入突破1亿美元,令腾讯海外收入占比提升12.5% 《胜利女神:NIKKE》发布首月收入突破1亿美元,令腾讯海外收入占比提升12.5% siyushenqi.com 2025 年 8 月 24 日 • 行业动态 633000 行业动态 登上东亚多地音乐榜Top5,国产AI音乐产品出海靠什么吸引百万用户? AI音乐出海如何“破圈”? siyushenqi.com 2025 年 9 月 29 日 363000 行业动态 在海外爆火的三消+SLG,到了国内还能玩得转吗? 市场变,策略也得变 siyushenqi.com 2025 年 8 月 24 日 502000 行业动态 破解流量困境,AI 驱动下 Moloco “增长飞轮”重塑品牌新未来 让增长“自循环”,和流量焦虑说再见。 siyushenqi.com 2025 年 12 月 19 日 417000 结合市场变化,让我们聊聊为什么说整合营销是游戏出海新的生存法责? 在游戏出海竞争白热化阶段,如何找到适合市场的生存法则,成为游戏厂商们亟需思考的问题。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 463000 行业动态 ChatGPT 越用人越傻? 随着大型语言模型(LLM)如ChatGPT的广泛应用,人们对其在教育领域的使用产生了诸多关注和担忧。本研究旨在探究使用LLM进行写作任务时的认知成本,以及这种使用方式对学生学习技能的潜在影响。 siyushenqi.com 2025 年 8 月 13 日 411000 行业动态 私域神器每周合作精选No.189|自研猫咪逃脱产品求发行;AI漫剧制作团队找日本IP;寻海外支付通道;投资公司找东南亚欧美市场C端应用 本期精选的合作类型涵盖自研猫咪逃脱产品求发行;AI漫剧制作团队找日本IP;寻海外支付通道;投资公司找东南亚欧美市场C端应用。接下来就一起看看吧~ siyushenqi.com 2026 年 1 月 21 日 380000 手游出海&出海游戏归国:买量创意是竞争根本 出海游戏归国如何买量获客? siyushenqi.com 2025 年 8 月 26 日 • 行业动态 452000 行业动态 AI产品烧钱竞赛:腾讯凶猛,字节保守,Kimi后退 根据AppGrowing数据,2025年第一季度,科技大公司与明星初创公司花在AI产品投流上的费用合计约18.4亿元,比2024年每个季度的数额都要多。 siyushenqi.com 2025 年 8 月 13 日 430000 行业动态 路透社:字节跳动计划出售沐瞳科技,正在接洽潜在买家 字节跳动正在考虑出售沐瞳科技,并且已经与“潜在的买家”展开了接洽。 siyushenqi.com 2025 年 8 月 18 日 474000 品牌案例|年售5亿美金!解决男性“难言之隐”的护理品牌Hims在北美杀疯了 Hims,保卫男性健康! siyushenqi.com 2025 年 8 月 13 日 • 行业动态 473000 外媒消息:字节计划出售沐瞳,沙特游戏电竞巨头或将接手 字节跳动正与沙特阿拉伯的游戏集团Savvy Games Group行接触,洽谈旗下游戏公司沐瞳科技的出售计划。 siyushenqi.com 2025 年 11 月 27 日 • 行业动态 374000 行业动态 斯坦福抄袭清华、面壁智能大模型,当事人已道歉、删项目 6月4日,两名斯坦福大学生Aksh Garg和Siddharth Sharma,承认抄袭清华和面壁智能联合开发的MiniCPM-Llama3-V2.5(以下简称V2.5)多模态大模型事件,并在社交平台公开道歉、删掉开源项目。 siyushenqi.com 2025 年 8 月 13 日 420000 行业动态 Manus的价值和意义是什么? Manus AI作为一款AI工具,其能力与硬件行业关注的LAM(大型行动模型)概念密切相关。LAM旨在成为人类在数字世界的代理人,而Manus AI通过自然语义理解、计算机视觉、用户行为学习和跨应用调用工具等能力,展现了类似的功能,因此受到硬件行业的高度关注。 siyushenqi.com 2025 年 8 月 13 日 394000 行业动态 独家|抖音加码自营跨境电商,“进口超市”上线 抖音打造跨境电商“双子星”。 siyushenqi.com 2025 年 8 月 13 日 425000 飞书、Akamai作为领袖千帆会独家赞助出席第三届全球产品与增长大会 飞书、Akamai作为领袖千帆会独家赞助出席第三届全球产品与增长大会 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 443000 行业动态 心言集团 海外业务负责人 Marco 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! 心言集团 海外业务负责人 Marco 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! siyushenqi.com 2025 年 10 月 17 日 391000 行业动态 Flipkart卖家数量突破140万,在印度收获胜利果实 Flipkart在印度继续突飞猛进。 siyushenqi.com 2025 年 8 月 12 日 462000 行业动态 三年前的老游戏海外翻红 2022年上线的《Love Island》借同名综艺6月新季热播,收入环比暴涨260%,近30天已突破5400万元。 siyushenqi.com 2025 年 8 月 15 日 378000 行业动态 美团外卖,或最早九月正式上线沙特利雅得!中东外卖风云再起 据《每日经济新闻》援引美团海外业务人士和当地商户的消息美团在中东市场尤其是利雅得的布局正在快速推进,上线“进入倒计时”。 siyushenqi.com 2025 年 8 月 5 日 482000 行业动态 【出海榜单】2024 年 2 月中国非游戏厂商及应用出海收入 30 强 2024 年 1 月中国非游戏厂商及应用出海收入排行榜出炉 siyushenqi.com 2025 年 8 月 18 日 495000 行业动态 中东首家直播购物平台来了! 中东首家直播购物平台来了! siyushenqi.com 2025 年 8 月 13 日 484000 行业动态 月收入破亿,爆款合成游戏Travel town做对了那些事? 随着Moon Active的收购,这款游戏迎来了爆发式增长。 siyushenqi.com 2025 年 8 月 18 日 504000 这个21年的大IP又杀出来了,网易果然不会放过这条爆款频出的赛道 这个跨越21年的IP,一直在追逐时代的脚步。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 402000 发表回复 请登录后评论...登录后才能评论 提交