创新突破!字节跳动首创无需数据,1.58位超低量化自监督生成 siyushenqi.com • 2025 年 8 月 13 日 下午9:38 • 行业动态 • 阅读 447 字节跳动的研究人员发布了一种创新的量化方法,该方法不需要访问实际图像数据,仅依赖模型自身的自监督信号。 摘要 研究人员在开源文生图像模型FLUX上进行实验,成功将模型量化到1.58位权重,使用{-1, 0, +1}三种值表示,而不是更高精度的浮点数。 尽管模型被量化到极低的位数,但在生成1024 x 1024分辨率图像时,性能与未量化模型基本一致。此外,存储减少了7.7倍,推理内存减少了5.1倍。 研究团队采用了PTQ方法,避免了在训练过程中对模型进行繁琐的微调操作,直接对预训练好的模型进行量化处理,节省了计算资源和时间。 在GenEval数据集和T2I CompBench验证分割上评估了FLUX和1.58位FLUX,量化后的模型在多个指标上与原始FLUX相当,证明了量化模型保持性能的优势。此外,研究人员计划将这一量化方法开源,以便更多受算力、内存限制的人员实现更高效的模型推理。开源项目地址为:1.58bit.flux。 Midjourney、DALLE 3、SD3等模型的出现,使得文生图像赛道实现了快速发展。但这些模型的参数非常大,在推理、生成的过程中占用了大量内存,极大限制了使用场景和设备。 为了解决这一难题,字节跳动的研究人员发布了创新的量化方法,不需要访问任何实际的图像数据,仅依赖模型自身的自监督信号即可。研究人员在著名开源文生图像模型FLUX进行了实验。结果显示,成功将FLUX的模型量化到1.58位权重,仅用{-1, 0, +1}三种值就能表示而不是更高精度的浮点数。 尽管模型被量化到如此低的位数,但在生成 1024 x 1024 分辨率图像时,性能仍与未量化的模型基本一致。为了支持1.58位的运算,还开发了一个专用的计算内核,存储减少了 7.7 倍,推理内存减少了5.1倍,极大降低了对存储、内存的需求。 先为大家简单介绍一下什么是量化技术。量化是一种模型压缩技术,主要通过减少模型权重的精度来降低模型的大小和计算需求。在传统的深度学习模型中,权重通常以32 位浮点数存储,这占用了大量的内存空间。 量化技术通过将这些权重映射到更少的位表示,比如8 位或更低,从而显著减少了模型的存储需求。量化还可以减少模型在推理时的计算量,因为整数运算比浮点运算更快、更高效。 在1.58-位FLUX的研究中,量化的应用达到了一个新的巅峰,研究人员没使用常见的8 位或更低的精度,而是将FLUX模型中的权重量化到了1.58 位,仅用三个数值就能表示。虽然高性能量化方式极大地压缩了模型的大小,但也有一个很大难题,如何在低精度下保持模型的性能。 为了实现这一目标,研究团队采用了一种后训练量化(PTQ)的方法。传统的 QAT 方法通常需要在模型训练过程中引入额外的量化操作,并对模型进行微调。这一过程往往涉及到复杂的训练机制调整和大量额外的计算资源投入。模型需要在训练过程中不断适应量化带来的精度损失,通过反向传播等技术手段来调整模型参数,以尽量减少量化对模型性能的影响。 而PTQ无需在训练过程中对模型进行繁琐的微调操作,直接聚焦于预训练好的模型进行量化处理,可以充分利用已经训练完成的 FLUX.1 - dev 模型所包含的丰富训练数据和强大能力,避免了重新训练所带来的巨大计算开销和时间消耗。 为了进一步确保 1.58 位 FLUX模型在推理过程中的高效性,研究团队在 PTQ 方法的基础上,还开发了专门针对 1.58 位操作优化的自定义内核。这个内核在模型推理过程中发挥着至关重要的作用。通过优化数据的存储结构和访问模式,使得模型在运行时能够以更低的内存占用实现高效计算。 在不同类型的 GPU 上进行测试时,1.58 位FLUX 借助该自定义内核实现了推理内存使用量的大幅减少,减少倍数超过 5.1 倍。在推理过程中,模型能够更加有效地利用内存资源,降低了内存溢出的风险,提高了系统的整体稳定性和运行效率。 此外,自定义内核还通过优化计算流程,减少了不必要的计算步骤和数据传输,显著提高了模型的推理速度,降低了推理延迟。例如,在处理复杂图像生成任务时,1.58 位 FLUX 能够更快地响应用户请求,生成高质量的图像结果提供更好的使用体验。 在性能评估方面,研究人员在GenEval数据集和T2I CompBench验证分割上评估了FLUX和1.58-位 FLUX。评估方法遵循官方的图像生成流程,生成的图像分辨率为1024×1024。结果显示,1.58 位 FLUX在多个指标上与FLUX相当,这证明了量化后的模型在保持性能方面的优势。 在效率方面,1.58-位 FLUX在模型存储和推理内存方面都显示出显著的效率提升。例如,与FLUX相比,1.58-位 FLUX将检查点存储减少了7.7倍。这一成果是通过将1.58位权重存储为2位有符号整数实现的,从而将它们从16位精度压缩。 在推理延迟方面,1.58-位 FLUX在不同GPU上的表现也有所提升。尤其是在性能较低但适合部署的GPU上,例如,L20和A10,1.58-位 FLUX的推理延迟得到了显著改善。 研究人员表示,这个量化方法很快就会开源,帮助更多受算力、内存限制的人员来实现更高效的模型推理。 即将开源:https://github.com/Chenglin-Yang/1.58bit.flux 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32779.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 大模型降价潮再起! 上一篇 2025 年 8 月 13 日 下午9:38 大模型“六小虎”走向分化 | 2025年展望 下一篇 2025 年 8 月 13 日 下午9:38 相关推荐 1300元的「斯坦福系」AI戒指,绕开Oura禁令与健康红海,单一录音功能能扛住华强北多久? Gyges Labs推出全球首款AI笔记戒指Vocci Ring,聚焦录音功能而非健康监测,预售价199美元。团队曾参与众筹爆款但落地欠佳,产品技术门槛低易被模仿,目前主推欧美市场。 转自扬帆出海 2026 年 4 月 10 日 • 行业动态 394000 独立游戏梦想破灭后,这家深圳公司在放置类跑出黑马 放置游戏品类好像就从来不缺黑马。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 454000 休闲游戏在海外杀疯了,三大案例了解海外玩家喜好 如何巧妙引入活动吸引玩家? siyushenqi.com 2025 年 8 月 18 日 • 行业动态 492000 行业动态 WhatsApp矩阵营销全流程详解:从获客到私域转化的系统打法 精准获客策略 内容营销的重要性 私域流量管理 客户转化路径 数据分析与优化 精准获客策略 在 WhatsApp 矩阵营销的过程中,精准获客是实现销售增长的首要步骤。通过深度分析目标用户群体的行为特征和需求,可以有效筛选出最有可能转化的潜在客户。精准获客不仅是通过广告投放来吸引新用户,还包括通过社交互动、口碑传播和内容营销等多种手段,精准锁定和吸引潜在消费者。… siyushenqi.com 2025 年 8 月 13 日 下午9:38 447000 暂别印度,阿里巴巴重注东南亚 9月14日,彭博社援引知情人士消息,阿里巴巴正洽谈向东南亚打车服务平台Grab 投资30亿美元 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 449000 日本出了一款种田游戏,硬核到“农林水产省”成攻略网站 日本游戏厂商发布了一款种田游戏,硬核到游戏论坛变成农业论坛,日本农林水产省成日本玩家攻略网站。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 518000 行业动态 2021手游市场达到1200亿美元,玩家消费动能不减 社交体验、跨端成为吸金利器 siyushenqi.com 2025 年 8 月 25 日 517000 做出了千万级下载的放置爆款后,这个杭州团队也想挑战“二次元塔防” 这是在《魂器学院》获得成功后,傲娇工作室时隔三年推出的新产品。值得一提的是,虽然《魂器学院》目前已经已经坐拥过千万用户,但这一次他们并没有在放置品类上继续深耕,反而是在沿袭了《魂器学院》IP的基础上另辟蹊径选择尝试挑战“二次元塔防”。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 476000 行业动态 Sora会“杀死“剪映吗? 留给张一鸣和张楠的时间不多了。 siyushenqi.com 2025 年 8 月 13 日 436000 行业动态 心言集团 海外业务负责人 Marco 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! 心言集团 海外业务负责人 Marco 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! siyushenqi.com 2025 年 10 月 17 日 398000 行业动态 除了Shopify,2020年还有哪些值得投资的自建站平台? 自建站卖家可能犯下的最大错误之一,就是投资于错误的电商平台。选择电商平台需要考虑非常多因素。 siyushenqi.com 2025 年 8 月 13 日 414000 葫芦笔记创始人-陈顺利、iTechClub华南区广州分会副秘书长-杨东波确认担任第三届全球产品与增长大会-AIGC出海创新产业峰会圆桌嘉宾 葫芦笔记创始人-陈顺利、iTechClub华南区广州分会副秘书长-杨东波确认担任第三届全球产品与增长大会-AIGC出海创新产业峰会圆桌嘉宾 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 493000 一款新游让TapTap海外增长率翻倍 主打竞技的《T3 Arena》是如何做到的 《T3 Arena》引发轻竞技热潮 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 501000 行业动态 前OpenAI CTO成立思维机器实验室 前OpenAI首席技术官Mira Murati创立了思维机器实验室(Thinking Machines Lab),旨在使人工智能更易于被广泛理解、定制和应用。实验室专注于三个方向:帮助人们调整AI系统以满足具体需求;开发坚实基础以构建更强大的AI系统;培养开放科学文化以促进整个领域的理解和改进。 siyushenqi.com 2025 年 8 月 13 日 441000 行业动态 苹果推出游戏商店Apple Games,出海开发者的新流量红利期来了? 苹果新流量入口已开,开发者怎能止步不前。 siyushenqi.com 2025 年 9 月 22 日 460000 行业动态 春节出货高峰来袭,跨境卖家高效发货的秘诀是? 春节出货高峰来袭,跨境卖家怎样实现物流运输顺畅? siyushenqi.com 2025 年 8 月 12 日 404000 行业动态 私域神器每周合作精选No.109|自研像素弹幕游戏寻发行;休闲放置寻海外发行;AI短剧寻找分销商平台;寻埃塞俄比亚本地支付 本期精选的合作类型涵盖自研像素弹幕游戏寻发行;休闲放置寻海外发行;AI短剧寻找分销商平台;寻埃塞俄比亚本地支付等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 438000 行业动态 RCS群发服务商选择指南及合作注意事项 RCS群发服务相比传统短信提供了更丰富的互动体验,提升了用户参与度和信息传递效率。在选择RCS群发服务商时,需要关注技术能力、平台稳定性等关键因素,并考虑如何优化合作关系以增强营销效果。通过了解这些关键要素,企业能够做出更明智的决策,... siyushenqi.com 2026 年 1 月 25 日 433000 行业动态 成本降低1000倍!微软将开源超强RAG— LazyGraphRAG 微软在今年7月开源了GraphRAG,这是一个基于图的检索增强生成(Retrieval-Augmented Generation, RAG)系统。在短短4个多月的时间里,它在GitHub上获得了超过19000颗星,成为目前最火的RAG框架之一。 siyushenqi.com 2025 年 8 月 13 日 480000 重磅发布!TikTok小店销售排行榜 梳理2023年1月份TikTok Shop相关榜单排名,包括TOP小店、TOP类目以及单品销售排名,涵盖印尼、泰国、越南、马来西亚、菲律宾、英国等主要国家站点,供各位卖家了解市场现状,预判未来趋势。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 490000 行业动态 海外3年流水15亿,回国却遇冷?腾讯初尝这一赛道,打法很“凶”! 芬兰游戏厂商Metacore开发、腾讯代理发行的合成休闲手游《庄园合合》国服上线。 siyushenqi.com 2025 年 8 月 18 日 472000 行业动态 从亚马逊到独立站,他做绘画产品年收近4亿! 凭借小小马克笔,年收近4亿,他是怎么做到的? siyushenqi.com 2025 年 8 月 12 日 479000 年销上亿!DTC品牌Rothy's的爆款女鞋之路 有人说,女生的鞋柜很多时候只需要一双鞋,又在其他时候,需要无数双鞋。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 486000 行业动态 2026移动应用出海风向标:Adjust 全球专家解读跨平台增长、AI革命与高潜力市场战略 “多平台无缝体验”、“隐私安全前提下的 AI 驱动增长”以及“超本地化的区域深耕”将成为中国出海应用在2026年构建持续竞争力的核心战略方向。 siyushenqi.com 2026 年 1 月 8 日 446000 行业动态 成就了Sora和Stable diffusion 3的DiTs,究竟是啥 本文所有图片均为Stable Diffusion 3生成。 siyushenqi.com 2025 年 8 月 13 日 465000 一年卖出5.47亿美元!揭秘DTC品牌Harry's的增长秘籍 纵观一些DTC品牌,时常上演着围剿巨头的戏码。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 445000 行业动态 海外门店开越多,泡泡玛特越沉默 2020 年上市即破发,五年后股价翻数倍、市值突破 3000 亿港币,Labubu 成为全球明星同款,海外收入占比近 50%,出海故事从“第二曲线”升级为“主引擎”。 siyushenqi.com 2025 年 9 月 16 日 427000 史上增速最快消费级应用,ChatGPT月活用户突破1亿 继去年 12 月以最快速度(5天)突破百万用户之后,ChatGPT又创造了一个新的历史记录。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 414000 行业动态 吊打斯坦福炒虾机器人!GPT-4加持Alter3扮鬼玩吉他,Figure 01看视频学会煮咖啡 机器人的ChatGPT时刻,真来了!初创公司Figure自家机器人看了10小时视频,学会了煮咖啡。另一边,东京大学GPT-4加持的Alter3机器人,能够模仿人类做出任何动作。而人类只需发出自然语言指令即可,完全不需要编程! siyushenqi.com 2025 年 8 月 13 日 417000 行业动态 玩家氪金未缴税,《黑道风云》发行商遭东京国税局追缴18亿日元 中国香港公司「YOTTA GAMES LIMITED」因未缴纳日本用户支付的游戏内购消费税,接受东京国税局的调查,涉及金额约15亿日元。 siyushenqi.com 2025 年 8 月 17 日 416000 发表回复 请登录后评论...登录后才能评论 提交