突发!Stable Diffusion 3,可通过API使用啦 siyushenqi.com • 2025 年 8 月 13 日 下午11:12 • 行业动态 • 阅读 426 本次继续由知名API管理平台Fireworks AI提供服务。 4月18日,著名开源大模型平台Stability.ai在官网宣布,最新文生图模型Stable Diffusion 3 (简称“SD3”)和 SD3 Turbo可以在API中使用。 据悉,本次继续由知名API管理平台Fireworks AI提供服务。与前两代相比,SD3除了生成的图片质量更高之外,可以更好地理解提示文本中嵌入到图片中的文字。 例如,一个色彩缤纷的魔法世界,天空的中央写着“欢迎来到魔法世界”。 前两个模型版本可能无法将“欢迎来到魔法世界”精准嵌入到图片的指定位置或出现扭曲的文字,而SD3可以轻松实现。 此外,SD3的模型权重将很快向Stability AI会员提供,可以在本地部署、运行SD3。 API地址: https://platform.stability.ai/docs/api-reference?_gl=1*1ldjred*_ga*ODY1NjAxMzA1LjE3MDcyNTYwMTM.*_ga_W4CMY55YQZ*MTcxMzM5NDE4OS40NC4xLjE3MTMzOTQyNTUuMC4wLjA.#tag/Generate/paths/~1v2beta~1stable-image~1generate~1sd3/post Stable Diffusion 3架构简单介绍 今年2月22日,Stability.ai在官网首次展示了SD3并开启候补测试。随后3月5日在arxiv上公布了其论文。 根据其论文介绍,SD3与前两代相比最大技术创新在于,使用了MM-DiT和Flow Matching两种方法来增强模型的输出、训练、优化等,同时支持文本或图像作为提示实现多模态能力。 通常多数文生图模型在生成的过程中,只考虑图像本身而没有充分利用文本信息,所以,输出结果时经常出现“驴头不对马嘴”的情况,甚至是一些无法理解的乱码或者扭曲的图像。 而MM-DiT通过结合Transformer的自注意力机制强大的文本和图像序列处理能力,帮助模型在生成图像时能与文本实现更好的匹配。 当用户输入文本或图像提示时,首先被转换为嵌入表示。文本通过预训练的文本模型编码,而图像则通过预训练的自动编码器转换为潜在空间表示。 MM-DiT会使用一种调制机制来整合时间步和文本条件信息,会将时间步和文本嵌入与图像的潜在表示进行整合。 接着,MM-DiT会利用一系列的调制注意力和多层感知力进一步混合文本和图像特征。这些块允许模型在保留各自模态特征的同时,进行跨模态的信息交流。 为了帮助SD3更好地处理多模态数据,MM-DiT采用了多头注意力机制,允许模型在不同的表示子空间中并行处理信息。 这也是SD3能深度理解文本提示中的嵌入文字主要原因,MMDiT不仅能将文字转换成图片,还能确保图片能够反映出文字中的所有细节。 根据测试数据显示,与DiT、CrossDiT、UViT等方法相比,MM-DiT所有指标上表现都非常出色,并且在内部共享权重集。 Flow Matching是一种用于训练Rectified Flow模型的方法,通过最小化生成路径上的误差来改善模型性能,同时帮助模型学习从随机噪声快速转换到目标图像。 在训练过程中,Flow Matching会先定义一个从数据分布到噪声分布的前向过程,这个过程通过一系列的时间步骤来模拟,每个步骤都对应着数据向噪声的逐渐转变。 接着,通过对每个时间步的噪声样本生成一个向量场,可以在概率空间中模拟数据到噪声的转换。 最后,Flow Matching通过最小化一个目标函数来优化生成向量场。该目标函数的作用是帮助模型预测的向量场和真实向量场之间的差异。优化的过程中会尽量减小这个差异,从而提高模型的生成图像预测准确性。 关于SD3更详细的技术解读,小伙伴们可以查看论文。 SD3生成图片展示 根据Stability.ai展示的效果,SD3生成的图片有一些甚至比Midjourney更好,尤其是文字嵌入方面。 一座白色建筑顶部放着一张红色沙发。涂鸦强上写着“城市最佳景观”。 一个印有“他们说在这里思考不好”的纸板箱,纸板箱很大,放在剧场舞台上。 半透明的猪,肚子里有一只更小的猪。 一只奶酪制作的螃蟹,在盘子中。 在山顶上有一位巫师创作了一幅令人惊叹的艺术作品,他用魔法创造了文字"Stable Diffusion 3 API"。 本文素材来源Stability.ai官网、SD3论文,如有侵权请联系删除 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33670.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 中国AIGC最值得关注企业&产品榜单揭晓!首份应用全景图谱发布 上一篇 2025 年 8 月 13 日 下午11:12 重磅!Llama-3,最强开源大模型正式发布! 下一篇 2025 年 8 月 13 日 下午11:12 相关推荐 行业动态 Flipkart向旗下时装电商平台Myntra投入17.5亿卢比新资金 近日,印度最大的电子商务零售商Flipkart向旗下时装电商平台Myntra投入了17.5亿卢比的新资金 siyushenqi.com 2025 年 8 月 13 日 472000 “小宠经济”大热!布卡星如何抢占百亿蓝海市场? 不选择大热的猫狗市场,反而从小宠品类入手切入市场,在品牌建设初期,就抓住了小宠品类用户的痛点 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 419000 行业动态 WhatsApp协议号合规性分析及外贸企业使用建议 WhatsApp 协议号合规性分析 数据保护法规要求 员工合规培训 客户沟通策略优化 安全加密技术应用 合规性审查与反馈 WhatsApp 协议号合规性分析 随着全球数据保护法规的日益严格,外贸企业在使用 WhatsApp 进行跨境交流时,必须确保其遵守相关合规要求。特别是在处理客户信息时,企业需要遵循数据保护法规、隐私政策,并采取技术措施保护用户隐私。此外… siyushenqi.com 2025 年 8 月 13 日 下午11:12 426000 行业动态 WhatsApp营销总被封?这套“磐石系统”让账号稳如泰山,群发畅通无阻! WhatsApp营销的挑战与机遇 磐石系统简介 磐石系统的优势与功能 对比分析 磐石系统的应用场景 WhatsApp营销的挑战与机遇 随着社交媒体平台的兴起,WhatsApp作为全球领先的即时通讯工具,逐渐成为许多企业营销的重要渠道。然而,由于平台的使用规则严格以及频繁的封号问题,很多营销人员面临账号安全和信息传播的双重挑战。在这种环境下,如何实现高效且稳定… siyushenqi.com 2025 年 8 月 13 日 下午11:12 426000 一年狂赚66亿!这个手机壳登陆A股,创跨境电商第一股,全国1.07万家相关企业 近日,“手机壳第一股”杰美特登陆 A 股,成为创业板注册制的首批上市公司之一。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 425000 行业动态 头部大厂投放操盘手分享:Facebook A+AC广告如何养成? 难度越大的产品A+AC 广告就越难跑起来,尤其是那些需要定位精准人群才能跑的产品。 siyushenqi.com 2025 年 8 月 3 日 423000 行业动态 估值超12亿美元,这家VR社交游戏独角兽是何来头 今年5月,Rec Room宣布最新一轮融资1亿美元,公司估值高达12.5亿美元。这促使其成为VR行业中第一家脱颖而出的独角兽公司(估值超过10亿美元)。 siyushenqi.com 2025 年 8 月 25 日 470000 寒冬逆势扩张到300人,这家北京厂商想让中国游戏闪耀全球 一次大胆的转身 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 522000 行业动态 《全民皆兵的出海吸量创意》——JoyPac-CEO-Mark 《全民皆兵的出海吸量创意》演讲视频完整回放 siyushenqi.com 2025 年 8 月 3 日 417000 5万同时在线,61%好评率,上周Steam销量冠军为何让人「边骂边玩」 奇妙的大杂烩。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 479000 私域神器周报 No.33丨米哈游“斗地主” ChatGPT被玩坏 一起来看更多出海大事件 私域神器为大家整理了一周内出海行业中值得关注的新闻:《原神》七圣召唤上线、ChatGPT成为新一代互联网“网红”。除此之外私域神器还为大家总结了更多出海圈大事件,涉及手游、电商、泛娱乐等方面的重点事件。 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 15 日 • 行业动态 439000 行业动态 智谱未来融资率:91.96% 华发集团宣布向北京智谱华章科技有限公司(智谱)投资5亿元人民币,用于推进智谱基座GLM大模型的技术创新与生态发展。华发集团作为珠海知名国企,此前已与智谱签署合作协议,将在AI垂直场景拓展、算力建设、AI产业生态打造等方面开展深度合作,助力珠海“云上智城”建设。 siyushenqi.com 2025 年 8 月 13 日 488000 行业动态 关于苹果眼镜,最新爆料 苹果已叫停“轻量版 Vision Pro”,把全部精力转向智能眼镜,新品最快 2026、最迟 2027 年亮相。 siyushenqi.com 2025 年 10 月 13 日 384000 行业动态 AI毛绒玩具狂卖30万台:是泡沫还是2025最稳出海赛道? 拉美、东南亚TikTok数据显示,AI玩具短视频CTR比传统玩具高42%,为D2C硬件提供新流量洼地。谁能把IP世界观沉淀为可持续的AI服务,谁就能率先迈过百万台生死线。 siyushenqi.com 2026 年 1 月 15 日 452000 行业动态 Reddit Karma是什么?Post Karma和Comment Karma的提升指南 在Reddit这一用户活跃度高的社区里,想要获得更好的曝光,我们就需要提升我们的Karma值,什么是Reddit Karma?怎么样才能提升以获得更大的影响力?本文将为你提高一套切实可行的提升方案。 一、什么是Reddit Karma? Reddit Karma是用户在Reddit上发帖和评论后,由其他用户通过点赞(upvote)和点踩(downvote)来… siyushenqi.com 2025 年 8 月 13 日 下午11:12 426000 行业动态 安克创新也在变!亚马逊转型独立站要过三道坎 “从亚马逊封号潮后,直接转型独立站且发展特别成功的亚马逊卖家,行业内目前还未有特别冒尖的企业/品牌方。” siyushenqi.com 2025 年 8 月 13 日 415000 行业动态 ChatGPT 爆红后,估值 290 亿美元的 Open AI 要被收购? 有知情人士透露,爆红的聊天机器人 ChatGPT 背后的研究实验室 OpenAI 正在谈判以收购要约的形式出售现有股份 siyushenqi.com 2025 年 8 月 14 日 412000 行业动态 TikTok杀向欧洲,海外市场开始躁动不安 TikTok Shop计划进入西班牙和爱尔兰市场,这是继2023年及2023年9月暂缓扩张后,TikTok Shop第三次向欧洲市场发起进攻。 siyushenqi.com 2025 年 8 月 5 日 469000 EVA崩坏3梦幻联动 鬼灭票房日本登顶 | 二次元周报 欢迎收看本周的二次元周报,接下来让我们一起回顾过去一周海外内二次元产业的相关信息吧。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 484000 Supercell砸重金投资的这款UGC游戏,会成为游戏圈的TikTok么? 上周,Supercell拿出1550万美元,投资了一家名为HypeHype的游戏开发商。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 470000 字节社交卷土重来:多闪颠覆式更新,“抖音时刻”功能升级 字节社交又有了新想法,字节正在加码对熟人社交的布局和社交新玩法的探索。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 565000 行业动态 卡游和Suplay,谁能先跑上市? 300亿泛娱乐卡牌市场狂奔,卡游、Suplay先后递表港交所,“中国卡牌第一股”仍虚位以待。 siyushenqi.com 2026 年 1 月 15 日 459000 字节跳动为何执着于“种草”? “种草”是门慢生意,要求入局者去“养”生态,字节跳动还要保持耐心 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 420000 行业动态 谷歌发布新RL方法,性能提升巨大,o1模型已证明 目前,多数大模型不具备自我纠错或能力较差,尤其是在数学和代码领域在给出错误答案后,会一直坚持错误答案,影响模型的准确率。 siyushenqi.com 2025 年 8 月 13 日 454000 今天网易把未来3年的路铺好了 武林高手开始出招了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 462000 行业动态 海外门店开越多,泡泡玛特越沉默 2020 年上市即破发,五年后股价翻数倍、市值突破 3000 亿港币,Labubu 成为全球明星同款,海外收入占比近 50%,出海故事从“第二曲线”升级为“主引擎”。 siyushenqi.com 2025 年 9 月 16 日 427000 看完SE直面会,为何说中国游戏出海还在初级阶段? 当我们在说中国游戏出海时,很多游戏目前依然是处于用产品、用现有IP去和不同地区的玩家进行碰撞的状态。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 529000 29款海外游戏,3.7万条素材外卷,马化腾说不做买量可能错了 兼听则明 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 515000 行业动态 活动前瞻丨智启新纪元,AI&泛娱乐出海沙龙4月2日北京见 2026 AI&泛娱乐出海,锁定4.2北京「智启新纪元」沙龙。 转自扬帆出海 2026 年 3 月 27 日 234000 进入东南亚多国TOP5 微博凭这款放置手游吹响了出海的号角 仅凭一款游戏打出好成绩,微博出海的起点还不错 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 447000 发表回复 请登录后评论...登录后才能评论 提交