成就了Sora和Stable diffusion 3的DiTs,究竟是啥 siyushenqi.com • 2025 年 8 月 13 日 下午11:04 • 行业动态 • 阅读 458 本文所有图片均为Stable Diffusion 3生成。 Sora才刚发布没过多久,Stable AI就发布了Stable Diffusion 3。对于使用人工智能创意设计的人来说,无疑是过大年了。那么本篇文章就专门为这些用户准备,用更直白的话讲述Stable Diffusion 3的两大特色“扩散transformers模型”以及“流匹配”,帮助你在模型发布后更好的使用它来创作。 扩散transformer模型(diffusion transformers),我们下文就简称它为DiTs。那看名字你也清楚了,这是一个基于transformer架构的图像潜变量扩散模型。如果你读过硅星人Pro的文章《揭秘Sora:用大语言模型的方法理解视频,实现了对物理世界的“涌现”》,那么你对于接下来的内容来说已经算是“课代表”级别的了。DiTs跟Sora一样,它也使用了“块”(patches)这个概念,不过由于DiTs是用来生成图片的,它不需要像Sora那样保持不同帧图片之间的逻辑关联,所以它不必生成时间和空间的时空块。 Stable diffusion 3生成 对于DiTs来说,它和4、5年前在计算机视觉领域掀起一场腥风血雨的Vision Transformer (ViT) 是相似的,图像会被DiTs被分割成多个patches,并嵌入到连续向量空间中,形成序列输入供transformer处理。不过这里要注意,因为DiTs是有业务在身的,所以对于条件图像生成任务,DiTs就需要接收并融合外部条件信息,例如类别标签或文本描述。通常通过提供额外的输入标记或者跨注意力机制来实现,使得模型能够根据给定的条件信息指导生成过程。 那么当这个块抵达DiTs内部的时候呢,他就可以被DiTs内部的DiT block来加工成需要的内容了。DiT block是DiTs最核心的一环,它是一种设计用于扩散模型的特殊transformer结构,能够处理图像和条件信息。一般来说,block本身翻译过来就是块,但是为了和patches做区分,所以这里我直接用block。 Stable diffusion 3生成 DiT block又分为三个小block:交叉注意力、adaLN、adaLN-Zero。交叉注意力指的是在多头自注意力层之后添加了一个额外的多头交叉注意力层,它的作用是利用条件信息来指导图像生成,使生成的图片更符合提示词,不过代价是增加了大约15%的计算量。 adaLN中的LN,指的是通过规范化每一层神经网络内部单元的输出,以减少内部协变量偏移(covariate shift)的问题,进而改善模型训练过程中的收敛速度和性能。那adaLN就是对标准层归一化的扩展,它允许层归一化的参数根据输入数据或附加条件信息动态调整。它就和汽车那个悬挂一样,是用来增加模型稳定性和适应性的。 Stable diffusion 3生成 接下来,Stable AI在adaLN DiT block的基础上进行了一项改进,除了回归γ和β之外,还回归维度级的缩放参数α,并在DiT block内的任何残差连接之前立即应用这些参数。而这一个block就是adaLN-Zero,这样做的目的是为了模仿残差网络中的有益初始化策略,以促进模型的有效训练和优化。 经过DiT block后,token序列就会解码为输出噪声预测和输出对角协方差预测。通过标准线性解码器,这两个预测结果的大小和输入图像的空间维度相同。最后是将这些解码后的令牌按照它们原有的空间布局重新排列,从而得到预测出的噪声值和协方差值。 Stable diffusion 3生成 第二章,流匹配(Flow Matching,下文简称FM)。根据Stable AI的说法,是一种高效的、无需模拟的CNF模型训练方法,允许利用通用概率路径监督CNF训练过程。尤为重要的是,FM打破了扩散模型之外的CNF可扩展训练障碍,无需深入理解扩散过程即可直接操作概率路径,从而绕过了传统训练中的难题。 所谓CNF,就是Continuous Normalizing Flows,连续归一化流。这是一种深度学习中的概率模型和生成模型技术。在CNF中,通过一系列可逆且连续的变换将简单的概率分布转换为复杂的、高维数据的概率分布。这些变换通常由一个神经网络来参数化,使得原始随机变量经过连续变换后能够模拟目标数据分布。翻译成大白话,CNF像是摇骰子那样生成数据的。 Stable diffusion 3生成 但是CNF在实际操作中需要大量的计算资源和时间,于是Stable AI就寻思了,那能不能又一个结果只要差不多和CNF一样就行,但是流程要稳定,计算量要低的方法?于是FM就诞生了,FM的本质是一个用于训练CNF模型以适应并模拟给定数据分布演化过程的技术,即使我们并不事先知道这个分布的具体数学表达式或对应的生成向量场。通过优化FM目标函数,也可以逐步让模型学习到能够生成与真实数据分布近似的概率分布的向量场。 相较于CNF而言,FM应该算是一种优化方法,它的目标是训练CNF模型生成的向量场与理想的目标概率路径上的向量场尽可能接近。 Stable diffusion 3生成 看完了Stable Diffusion 3的两大核心技术特性你就会发现,其实它和Sora非常接近。俩模型都是transformer模型(stable diffusion此前采用的是U-Net)、都使用块、都有着划时代的稳定性和优化,而且出生日期还这么近,说他们有血缘关系,我认为并不过分。 不过“兄弟俩”有一个根源性的不同,那就是Sora闭源,Stable Diffusion 3开源。事实上,Midjourney也好,DALL·E也好,他们都是闭源的,唯有Stable Diffusion是开源的。如果你关注开源人工智能,那么你一定发现了,开源社区陷入困境已经有很长一段时间了,没有明显的突破,很多人都对此失去信心。Stable Diffusion 2和Stable Diffusion XL仅改进了生成图片的美观性,而Stable Diffusion 1.5已经可以做到这一点。看到Stable Diffusion 3的革命性改进,能让很多人开源社区的开发者重燃信心。 Stable diffusion 3生成 再说个刺激的,Stable AI的CEO默罕默德艾马德莫斯塔克(মোহম্মদ ইমাদ মোশতাক)在推特中说到,尽管Stable AI在人工智能这个领域的资源比其他一些公司少了足足100倍,但是Stable Diffusion 3架构已经可以接受除了视频和图像以外的内容了,不过目前还不能公布太多。 你说图片和视频我还能理解,可啥叫“以外”的内容?其实我能想到的那就是音频了,通过一段声音来生成图片。让人摸不着头脑,不过一旦Stable AI放出最新的研究成果,我们一定第一时间拿来解读。 Stable diffusion 3生成 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33530.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 英伟达值14万亿吗? 上一篇 2025 年 8 月 13 日 下午11:03 Sora占领TikTok,4天涨粉10万! 下一篇 2025 年 8 月 13 日 下午11:04 相关推荐 行业动态 流水快速翻倍的秘诀:NEOCRAFT的出海之路 但即使欧洲市场与亚洲国家有较高的文化差异,以及大不相同的发行打法,仍有一些厂商深耕和攻坚这一区域,NEOCRAFT就是近年来做的较为成功的一家。 siyushenqi.com 2025 年 8 月 24 日 472000 行业动态 一家明星CP倒在春节前:曾获腾讯投资,月流水破亿 今年春节未免有点冷了。 siyushenqi.com 2025 年 8 月 18 日 429000 首测9.6分并登上新品榜首,这款游戏凭什么被称为“卡通版动森”? 这款游戏描绘了一个童话般的森林世界,这个森林中有面包树、甜心河、蛋糕山、巧克力屋、冰淇淋山洞和有趣的动物朋友们,疲于奔波的玩家可以在这个奇妙的森林中收集材料、修复庭院、养成咕咚伙伴、治愈梦魇同时治愈自己。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 526000 行业动态 亚马逊被曝虚假评论疫情期间飙升至42% 创该公司历史新高 腾讯科技讯 10月20日,监测服务机构Fakespot最新发现,亚马逊网站上的虚假评论在新冠肺炎疫情爆发期间飙升 siyushenqi.com 2025 年 8 月 13 日 441000 行业动态 优质户外家具将成为中东下一个消费新趋势?大卖家这样说.. 优质户外家具将成为中东下一个消费新趋势?大卖家这样说 siyushenqi.com 2025 年 8 月 13 日 449000 回溯2021:影响出海社媒营销的100件事 回溯全球社交媒体平台的变化,发现许多出海营销人的共同记忆 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 457000 朝夕光年杀入美国畅销第四,海彼MAU冲2000万——10月发行商TOP30 Sensor Tower发布了2022年10月中国手游发行商在全球App Store和Google Play的收入排名Top30。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 494000 小厂被虐,巨头无视?谷歌英伟达iOS云游戏公然绕开AppStore 云游戏是游戏行业的下一个风口已然成为了共识。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 534000 行业动态 “老”应用,霸榜AI 移动端用户已破6.4亿,可榜单前20里2/3是巨头产品;豆包、夸克、元宝等牢牢占据头部,创业公司屈指可数。 siyushenqi.com 2025 年 9 月 23 日 431000 行业动态 没有抽卡氪金,暴雪为魔兽手游注册国内商标 暴雪回归,魔兽手游要来了? siyushenqi.com 2025 年 8 月 19 日 480000 行业动态 攻占市场,小游戏在韩国杀疯了! 根据Sensor Tower的报告,2024年上半年,韩国手游畅销榜前100名中,中国发行商的收入占比显著提升至28%,内购收入增长了11%。 siyushenqi.com 2025 年 8 月 17 日 424000 估值大跌300亿,SHEIN的增长神话还能持续多久 当一个企业没有与品牌知名度相称的社会形象时,等于一只脚跳进了坑里。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 391000 销量超2.34万件!TikTok卖家将一件“旧品”打爆了 赚麻了。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 446000 行业动态 Temu:拼多多自然的延伸 其实Temu则更像是在拼多多和多多买菜基础上的一个自然的延伸。 siyushenqi.com 2025 年 8 月 12 日 591000 行业动态 抖音聊天挑战微信?先读过攀哥的 IM 应用三定律 攀哥在IM即时通讯行业从业18年,服务过数万款聊天应用。今天就聊聊多年来自己总结的 IM 应用三定律 siyushenqi.com 2025 年 8 月 3 日 454000 行业动态 占领全球混休榜单,把混休单品月流水拉到千万美元,欧洲第二大游戏市场竟然是它? 18亿美金收购案后,这里获25亿融资:“休闲游戏兵工厂”2025仍受瞩目。 siyushenqi.com 2026 年 1 月 29 日 368000 行业动态 登顶免费榜,灵犀互娱再战MMO MMO还能怎么玩? siyushenqi.com 2025 年 8 月 19 日 428000 行业动态 小游戏出海再创奇迹!出海日收入超2000w! 小游戏赛道硝烟味十足,火直接烧到海外。 siyushenqi.com 2025 年 8 月 18 日 452000 行业动态 孩之宝寻求出售知名IP“龙与地下城”,已与腾讯初步接洽 谈判尚处于早期阶段 siyushenqi.com 2025 年 8 月 18 日 456000 行业动态 晨辉翻译确认入驻PAGC 2024 | 第四届全球产品与增长展会! 晨辉翻译确认入驻PAGC 2024 | 第四届全球产品与增长展会! siyushenqi.com 2025 年 8 月 18 日 508000 行业动态 如何做海外私域流量? 海外私域流量的运营与国内类似,但需要结合当地市场的特点和文化差异。以下是一些关键步骤和策略: 明确目标市场 - 确定你要进入的海外市场(如北美、欧洲、东南亚等)。 - 研究目标国家的文化、语言、消费习惯和法律法规。 建立官方网站或独立站 - 拥有一个专业的网站是私域流量的基础。 - 网站内容要本地化,包括语言、货币和支付方式。 - 做好SEO优化,确保搜索引… siyushenqi.com 2025 年 8 月 13 日 下午11:04 458000 2023年消费遇冷,跨境赛道投融资走势如何? 2023年以来,全球消费投融资市场大幅放缓。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 465000 10月起亚马逊实行收费新规,卖家成本又要涨 随着近年来亚马逊运营成本不断上涨,卖家之间竞争激烈,盈利变得更加困难。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 501000 行业动态 出海成家电行业增长关键:品牌建设助力高质量发展 近年来,随着“出海”战略的深入推进,家电行业不仅实现了出口规模的大幅增长,更在品牌建设上取得了显著成效,推动行业向高质量发展迈进。 siyushenqi.com 2025 年 8 月 6 日 429000 行业动态 WhatsApp蓝标号的认证标准与申请要点 认证标准 申请要点 对比分析 常见问题 WhatsApp蓝标号认证标准 WhatsApp的蓝标号认证是为了确保企业的身份信息与实际业务一致,并且用户与这些企业进行沟通时能够获得更高的信任度。为了获得这一认证,企业需要满足一系列标准,其中最为重要的包括:企业合法性、账户活跃度及审核过程的通过。 首先,企业需要提供合法的注册信息,这意味着企业必须已经在本地法律框… siyushenqi.com 2025 年 8 月 13 日 下午11:04 458000 行业动态 TikTok退出美国对游戏出海影响多大? 如果TikTok退出美国,对游戏出海影响多大?从业者如何看待? siyushenqi.com 2025 年 8 月 18 日 417000 行业动态 TikTok Shop印尼加强商家资质审查:商家六大认证不全的商品将遭下架 TikTok Shop印尼站要求食品、化妆品、婴儿用品等类目商家限期补交SNI、BPOM、清真等六大类认证,否则商品将被下架或冻结。 siyushenqi.com 2025 年 8 月 15 日 453000 拼多多和SHEIN争做美国穷人乐 除了法庭相见,这两个公司也逐渐以对手的身份出现在各种海外报道中 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 477000 3个月收入近5亿美元,一个靠数据算法起家的独立站 Stitch Fix是根据算法和数据科学,以及顾客所要求的尺寸、顾客的预算向其推荐个性化服装,以解决用户挑选服装配饰的相关痛点 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 405000 行业动态 出海与小游戏“二八定律”加剧:头部吃肉,尾部连汤都喝不上? 出海和小游戏一直是游戏股财报的重要角色,但它们的发展各有不同。 siyushenqi.com 2025 年 8 月 17 日 472000 发表回复 请登录后评论...登录后才能评论 提交