Meta开源首个量化模型Llama 3.2:减少40%内存,效率提升2倍以上 siyushenqi.com • 2025 年 8 月 13 日 下午9:21 • 行业动态 • 阅读 433 Meta发布了首个轻量级量化版模型Llama 3.2,提供10亿和30亿两种参数规模的版本,旨在优化移动设备上的部署和使用。 摘要 通过使用LoRA适配器的量化感知训练和SpinQuant技术,Llama 3.2在减少内存使用和模型规模的同时,推理效率提升了2—4倍。在一加12和三星S24+、S22手机上,解码和预填充延迟显著提升。 Llama 3.2采用了标准的Transformer结构,并针对线性层进行了特定的量化处理,使用4位组量化权重,对激活进行8位每标记动态量化,分类层也进行了相应的量化处理。 LoRA适配器量化感知训练和SpinQuant是两种关键技术。LoRA适配器在初始化QAT后进行额外的有监督微调训练,而SpinQuant则通过学习旋转矩阵来平滑数据中的异常值,促进更有效的量化。 Llama 3.2在MMLU、GSM8K、MATH、MGSM等基准测试中表现优异,与Llama 3 8B的性能相当,证明了其高性能低消耗的特点。此外,该模型支持128k tokens的上下文长度,能够处理长文本任务,并且开源库与ExecuTorch和Llama Stack兼容,具有很好的扩展性。 全球社交巨头Meta开源了首个轻量级量化版模型Llama 3.2,一共有10亿和30亿两种参数。 为了使该模型能在手机、平板、笔记本等移动设备上部署使用,Meta使用了带有LoRA适配器的量化感知训练和SpinQuant进行了大幅度性能优化,平均减少了41%的内存使用、减少56%的模型规模,但推理效率却提升了2—4倍。 例如,在一加12手机上,Llama 3.2的解码延迟平均提高了2.5倍,预填充延迟平均提高了4.2倍,而在三星的S24+、S22两款手机同样获得了类似的数据。 开源地址:https://huggingface.co/collections/meta-llama/llama-32-66f448ffc8c32f949b04c8cf 在架构方面,Llama 3.2 1B和3B采用了标准的Transformer结构。但对所有变压器块中的线性层进行了特定的量化处理,采用4位组方式量化权重,并对激活进行8位每标记动态量化。 分类层则量化为8位每通道的权重和8位每标记的动态激活量化,同时使用了8位每通道量化用于嵌入。 模型优化方面,使用了LoRA适配器量化感知训练和SpinQuant两种重要技术。LoRA适配器量化在初始化 QAT 时,会使用经过有监督微调后获得的BF16 Llama 3.2模型检查点,进行额外一轮带有 QAT 的有监督微调训练。 然后冻结 QAT 模型的主干,再使用低秩自适应的 LoRA 适配器对变压器块内所有层进行另一轮有监督微调,并且LoRA 适配器的权重和激活保持在 BF16,最后通过直接偏好优化进行微调得到高能效模型。 而SpinQuant是目前最先进的后训练量化技术之一,通过使用WikiText数据集来学习旋转矩阵,这些矩阵有助于平滑数据中的异常值,促进更有效的量化。在确定了旋转矩阵之后,应用了包括范围设置和生成性后训练量化在内的最佳量化效果。 该方法虽不如 QAT + LoRA 准确,但具有很灵活的可移植性,且无需访问通常是私有的训练数据集。这对于数据可用性或计算资源有限的应用来说,是一个非常好的解决方法。 开发者还可以使用此方法对自己微调后的 Llama 模型进行量化,以适应不同的硬件目标和用例,其开源库与 ExecuTorch和 Llama Stack 完美兼容扩展性很强。 虽然Llama 3.2 1B和3B的参数很小,但都支持128k tokens 的上下文长度,这对于移动端来说非常重要,可轻松处理长文本的总结、复杂指令的理解等场,例如,在处理长篇小说的内容总结、学术论文的要点提取等任务时,可以更好地理解文本的整体逻辑和语义,从而提供更准确的结果。 根据Meta公布的测试数据显示,在MMLU、GSM8K、MATH、MGSM等主流基准测试中,量化后的Llama 3.2不仅性能没有减少,还能与Llama 3 8B的性能媲美,充分证明了其高性能低消耗的特点。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32636.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 GPT-5要来了!OpenAI将在12月前发布下一代旗舰模型 上一篇 2025 年 8 月 13 日 下午9:21 字节大模型内部赛马,下一个爆款 or 烧钱深坑? 下一篇 2025 年 8 月 13 日 下午9:21 相关推荐 《Whiteout Survival》重返榜首 点点互动与您相约2024ChinaJoy 近日,第三方机构Sensor Tower发布了2024年6月中国手游发行商全球收入排行榜,由世纪华通旗下点点互动自研的冰雪生存题材手游《Whiteout Survival》(国内版:《无尽冬日》)再度登顶中国手游出海收入榜,展现了其持久的市场吸引力和卓越的盈利能力。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 515000 行业动态 张一鸣独守双11旧阵地 与往年相比,今年的双11各大电商平台不再将“全网最低价”作为主要竞争手段。平台如淘宝天猫和京东不再追求绝对低价,而是强调“品质好价”和“又便宜又好”的策略。 siyushenqi.com 2025 年 8 月 5 日 416000 行业动态 企业如何利用WhatsApp群发提升客户触达率 WhatsApp群发是企业提升客户触达率的有效方式,能够快速传递营销信息、优惠活动等内容。通过精准的客户定位和个性化的内容推送,企业能够提高互动性和响应率,突破地域限制,提升客户的参与度。相比传统的营销方式,WhatsApp群发提供了... siyushenqi.com 2026 年 1 月 24 日 401000 行业动态 横屏短剧闷声干大事? 2023年主流平台出品的微短剧中,实现千万级分账的有7部,而2024年上半年,票房上千万的短剧数量已经达到6部。 siyushenqi.com 2025 年 8 月 17 日 414000 行业动态 短剧出海「一哥」,去年净利润只有24万?! 中文在线的财报一出,应该有不少人关心枫叶互动2023年的业绩。 siyushenqi.com 2025 年 8 月 18 日 530000 行业动态 前作上线19天流水破亿,五年后这个系列新作首曝 由网龙网络开发、金山世游发行的MMORPG《魔域手游2》首曝并同步上线了新CG,预计将会在春节前夕正式公测。 siyushenqi.com 2025 年 8 月 24 日 535000 不卷美术卷玩法,这款单人开发的游戏,在TapTap拿到了9.4高分 究竟是什么让这位开发者的游戏如此吸引玩家呢?我试图回到《异世轮回录》中寻找答案。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 431000 行业动态 Q3季度游戏并购交易达50笔、私募融资115笔,全球游戏资本市场“活”了!(文内附完整资料) Drake Star《Global Gaming Report Q3 2025》报告解读。 siyushenqi.com 2025 年 11 月 6 日 415000 SHORTTV LIMITED、广州七火山科技有限公司、LuckyShort确认加入PAGC2024丨短剧对接会 SHORTTV LIMITED、广州七火山科技有限公司、LuckyShort确认加入PAGC2024丨短剧对接会 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 463000 行业动态 2026年的游戏业,AI究竟是毒是药? IGA 连夜撤奖事件,因开发者先承诺“零生成式 AI”后被实锤使用,官方直接取消《33 号远征队》两项大奖,把“AI 披露”变成独立游戏评审的生死线。 siyushenqi.com 2026 年 1 月 7 日 458000 行业动态 2025年5月移动应用(非游戏)出海排行榜 – TikTok移动端海外月活突破10亿 2025年5月,中国非游戏类移动应用在全球市场持续展现出强劲的发展势头。短剧、电商、AI工具三大主力赛道继续高歌猛进,拉美、东南亚成为增长热土。 siyushenqi.com 2025 年 8 月 15 日 522000 行业动态 老产品跑Google上新系列的难点+投放思路 Google投老产品的困难 siyushenqi.com 2025 年 8 月 3 日 433000 行业动态 火速将这个“大爆款”推向海外,网易:我继续疯,你跟不跟? 《巅峰极速》在海外成为了一个新爆款。 siyushenqi.com 2025 年 8 月 18 日 430000 行业动态 绕不开的IP,是中国玩具企业出海的“宿命”? 中国玩具出海,并非只有IP一条路可走 siyushenqi.com 2025 年 8 月 13 日 446000 行业动态 如何通过TikTok矩阵提高海外客户的参与度 TikTok 矩阵的整体策略框架 多账号架构与内容分工设计 内容生产机制与互动增强方法 数据分析驱动的持续优化 影响者协同与矩阵规模化增长 在海外市场环境中,单一 TikTok 账号已难以同时兼顾内容深度、覆盖广度与用户互动效率。通过系统化的 TikTok 矩阵运营,品牌能够在同一平台内构建多触点内容网络,从而持续提升海外客户的参与度、信任度与转化潜力。本文… siyushenqi.com 2025 年 8 月 13 日 下午9:21 433000 行业动态 4月发行商全球收入榜:38家中国厂商吸金超23亿美元,紫龙收入增长171% 5月9日,Sensor Tower公布了2022年4月中国手游发行商在全球 App Store 和 Google Play 的收入排名。 siyushenqi.com 2025 年 8 月 25 日 542000 “我们这里的SLG团队都快没了。” 乐狗、星合之后,我们似乎再难听到有哪家初创公司能做成SLG了 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 535000 行业动态 火山引擎究竟想要什么? 火山引擎是字节跳动推出的技术平台,名字中没有“云”是为了区别于传统云计算厂商,体现其差异化战略。 siyushenqi.com 2025 年 8 月 13 日 390000 Playtika也搞“合成游戏”,新品融合战斗体验,被苹果全球推荐 近日,Playtika公司位于以色列的Jelly Button工作室宣布合成类手游《Merge Stories》在海外的iOS、安卓平台正式上线。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 442000 行业动态 今天智谱IPO敲锣 智谱今日港交所挂牌,发行价116.20港元,市值超550亿港元,获1164倍超额认购。 siyushenqi.com 2026 年 1 月 8 日 423000 北京游戏圈,源源不断的游戏出海浪潮 北京游戏圈,让世界看到中国游戏力量。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 481000 行业动态 2022 年 12 月中国非游戏厂商及应用出海收入 30 强 data.ai发布2022年12月中国非游戏厂商及应用出海收入双榜 siyushenqi.com 2025 年 8 月 24 日 370000 行业动态 女频题材热度回升,一部新剧闯入TOP10!爆款承制方揭秘! 本期短剧热力榜,点众旗下短剧《无敌三皇子》登顶,九州《飒爽妈咪是大佬》第二,九州《听不见的爱》位列第三。 siyushenqi.com 2025 年 8 月 18 日 536000 行业动态 如何通过Instagram引流到独立站?跨境运营实战指南 Instagram作为全球主流的图片和短视频社交平台,不仅是品牌展示的重要渠道,也是跨境电商卖家和个人创作者为独立站获取精准流量的重要工具。相比广告投放,利用Instagram自然引流成本更低、转化率更高,但前提是掌握正确的方法与运营思路。 本文将详细拆解如何通过Instagram实现独立站引流,并结合实战经验给出可落地的操作建议。 一、为什么选择Insta… siyushenqi.com 2025 年 8 月 13 日 下午9:21 433000 Supersonic 中国发行经理 David Wang:创意视频如何助力超休闲游戏出奇取胜 12月9日-10日,为期2天的2021全球互联网产业CEO大会在北京圆满落幕! siyushenqi.com 2025 年 8 月 25 日 • 行业动态 475000 行业动态 最新!2023 年 AIGC 移动市场洞察 生成式人工智能应用进入高速增长时期。 siyushenqi.com 2025 年 8 月 13 日 441000 行业动态 谷歌开发者账号:企业号和个人号的区别对比 谷歌开发者账号:企业号和个人号的区别对比 siyushenqi.com 2025 年 8 月 3 日 428000 行业动态 “让游戏再次伟大”,马斯克将成立AI游戏工作室 埃隆·马斯克证实xAI将开设AI游戏工作室,旨在开发具有创新性和多样性的游戏,打破传统游戏产业的限制。 siyushenqi.com 2025 年 8 月 17 日 393000 行业动态 阶跃星辰完成数亿美元 B 轮融资,突围大模型决赛圈 阶跃星辰完成了数亿美元的B轮融资,核心投资方包括上海国有资本投资有限公司及其旗下基金,同时获得腾讯投资、五源资本、启明创投等战略和财务投资人的支持。 siyushenqi.com 2025 年 8 月 13 日 515000 行业动态 致敬传奇!当追觅AI智能戒指遇上NBA最年轻MVP 作为全球消费电子产业的风向标,CES向来是顶尖科技的 “首发阵地”。追觅AI智能戒指此次不仅携全系列产品震撼亮相,更凭借硬核实力斩获CES 2026 Wearable大奖这一行业重磅荣誉。 siyushenqi.com 2026 年 1 月 21 日 366000 发表回复 请登录后评论...登录后才能评论 提交