20倍压缩比!微软提出大模型提示压缩框架LLMLingua siyushenqi.com • 2025 年 8 月 13 日 下午10:54 • 行业动态 • 阅读 527 如何在保留关键信息的同时,压缩较长的提示成为当前大模型研究的问题之一。 近期,越来越多研究在探索大型语言模型(LLM)在实际应用中的推理和生成能力。随着 ChatGPT 等模型的广泛研究与应用,如何在保留关键信息的同时,压缩较长的提示成为当前大模型研究的问题之一。 为了加速模型推理并降低成本,微软的新文章提出了一种粒度粗到细的提示压缩方法 LLMLingua,它在对齐后采用了经过良好训练的较小语言模型,通过给提示动态分配不同的压缩比率,在高压缩比率下保持语义完整性。虽然 token 级的压缩提示的格式难以被人类理解,但 LLM 可以很好地进行解释。 实验证明,这种方法在 20 倍的压缩下性能损失仍较小,这不仅能够降低计算成本,还为处理 LLM 中更长的上下文提供了潜在解决方案。 论文题目:LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models 论文链接:https://arxiv.org/abs/2310.05736 Demo 地址:https://huggingface.co/spaces/microsoft/LLMLingua 代码地址:https://aka.ms/LLMLingua 为了加速模型推理,有研究在尝试修改 LLM 的参数(如压缩),但在只能通过 API 访问 LLM 的情况下,这些方法可能并不适用,因此需要考虑从提示方面着手解决问题。 之前有工作指出,自然语言本质上是冗余的,并且 LLM 可以有效地从被压缩文本中还原源文本。因此,近期的一些方法将长提示压缩为短提示,旨在通过保留基本信息的同时减少原始提示的长度,来加速模型推理。 比如今年新提出的 Selective-Context 方法,首先使用小型语言模型计算原始提示中每个词汇单元(如句子、短语或 token)的自身信息,然后删除较少信息的内容来压缩提示。然而,它不仅忽视了被压缩内容之间的相互依赖关系,还忽略了目标 LLM 与用于提示压缩的较小语言模型之间的对应关系。 什么是困惑度(perplexity)? 通常指在自然语言处理中,对语言模型性能的一种度量。它衡量了语言模型在给定一段文本后对下一个词预测的不确定性或困惑程度。一般来说,困惑度越低,模型的性能越好,因为它表示模型对下一个词预测的自信程度。 在本文中,困惑度被用作衡量提示信息复杂度的标准。较低困惑度的 token 在语言模型的预测中贡献的不确定性较小,因此可能被认为是相对冗余的信息,在压缩中被删除也不太影响语义信息。 LLMLingua 整体来说,本文所提出的 LLMLingua 框架旨在通过更精细地控制压缩过程,确保在减小提示长度的同时有效保留原始提示信息。模型框架如图 1 所示。 ▲图1 LLMLingua 框架 压缩比例控制器:其主要作用是动态地为提示中的不同部分分配不同的压缩比例,同时在高度压缩的情况下保持语义的完整性。 迭代提示:旨在在进行压缩的同时保留提示中的知识。 对齐方法:用于解决小型语言模型与黑盒大型语言模型之间存在的概率分布差距。 压缩比例控制器 该模块用于给提示的不同部分动态地分配不同的压缩比例,从而实现在高度压缩的情况下保持语义完整性,有以下两个主要设计动机: 不同部分的影响力差异:提示中的指令和问题对生成的结果有直接影响,因为它们应包含生成下一个答案所需的所有必要信息。相反,如果提示中包含多个示例,传达的信息可能会冗余。因此,该模块根据提示中的不同部分,通过给示例动态分配更小的压缩比例,给指令和问题更大的压缩比例,以更好地实现信息保留。 压缩率与语言完整性的平衡:当需要更高压缩率时,使用 token 级的 dropout 可能使压缩后的提示过于简单,从而失去原始提示的重要信息。为了在高度压缩的情况下保持一定程度的语言完整性,该模块引入了句子级的丢弃,特别是在存在多个冗余示例的情况下,还可以执行示例级的控制,以满足压缩的需求。 ▲算法1 压缩比例控制器 如算法 1 所示: 动态分配压缩比例:针对提示中的不同部分,根据某些标准动态地分配不同的压缩比例。这样,模型可以有选择地保留对语义贡献较大的部分,同时更好地压缩相对较不重要的部分。 示例级压缩:在动态分配的压缩比例下,进行粗粒度的示例级压缩。这意味着在高度压缩的情况下,模型仍然可以保持提示的整体语义完整性,而不仅仅是单个 token 的压缩。 迭代 token 级提示压缩(ITPC) 该模块用于在压缩提示的过程中迭代处理每个 token,更细粒度地压缩提示内容,以更准确地保留关键的上下文信息。 ▲算法2 ITPC 算法 该算法的步骤可以描述为: 将提示分段: 首先,将目标提示分成多个段落或片段。每个段落通常包含不同部分的信息,如指令、演示和问题。 计算困惑度: 使用较小的语言模型计算每个段落的困惑度。困惑度反映了模型对段落中 token 序列的预测难度,即上下文的复杂性。 迭代压缩: 对每个段落执行迭代的 token 级压缩算法。在每次迭代中,将当前段落的压缩结果与下一段落连接起来,以更准确地估计条件概率。这有助于缓解条件独立性假设的局限性,使得压缩后的提示更接近原始提示。 概率估计与过滤: 利用计算到的条件概率估计每个 token 的重要性,并根据设定的阈值进行过滤。这一步旨在保留压缩提示中具有关键信息的 token,同时舍弃不太重要的 token。 分布对齐 该模块用于解决较小语言模型(LM)与黑盒 LLM 之间的概率分布差距,以提升对提示进行压缩的效果。以下是该模块的主要步骤和目标: 较小 LM 的优化:从预训练的小型语言模型 开始,通过在 LLM 生成的数据上进行指令微调来优化小型 LM,使其更好地模拟 LLM 的分布。 概率分布估计:使用优化后的小型 LM 生成提示的分布。这一步旨在通过小型 LM 更准确地估计原始提示和压缩提示的分布。 对齐处理:基于生成的分布,进行对齐处理,使小型 LM 生成的提示分布更加接近 LLM 的提示分布。这有助于缩小两者之间的分布差距,提升压缩质量。 实验 在四个不同领域的数据集上评估对提示压缩的性能。具体而言,评估使用了 GSM8K(推理和上下文学习)、BBH(推理和上下文学习)、ShareGPT(对话理解),以及 Arxiv-March23(摘要)。 ▲表1 不同目标压缩比下对话和摘要任务中的性能比较 实验结果如表 1 和表 2 所示,可以看出,在几乎所有实验中,我们提出的方法始终明显优于先前的方法。 ▲表2 在数学推理和上下文学习任务中的性能比较 在推理和上下文学习任务(GSM8K 和 BBH)中,本文方法在 1-shot 约束条件下表现略高于 full-shot 方法,同时在高压缩比(5 倍和 3 倍)下效果不错,有效地保留了原始提示的推理信息。在 half-shot 和 quarter-shot 约束下,性能略有下降,但也很不错。 在上下文理解任务(ShareGPT 和 Arxiv-March23)中,本文方法实现了 9 倍和 3.3 倍的加速比(acceleration ratios),同时保持高 BERTScore F1,成功地保留了初始提示的语义信息。 在具有一定难度的推理和 ICL 任务上,本文的方法相对于 Selective-Context 方法也有着显著的性能提升。尤其是在 GSM8K 上,也证明了能有效保留推理信息。 消融实验 ▲表3 在 1-shot 约束下 GSM8K 数据集上的消融结果 结论 本研究通过从粗粒度到细粒度的策略,提出了一种名为 LLMLingua 的基于小型语言模型困惑度的提示压缩算法,它由三个关键模块组成:压缩比例控制器、迭代 token 级压缩以及对齐。作者在四个数据集上对其进行了大量实验, ▲图3 在 GSM8K 上不同压缩比()下各种提示压缩方法的性能比较 如图 3 所示,随着压缩比例的提高,尤其是在 25 倍到 30 倍的范围内,所有方法在性能上都会明显下降。但与其他方法相比,本文的方法在导致性能下降时,明显更偏向于更高的压缩比,这可能受提示长度、任务类型和涉及句子数量等多种因素制约。 因此,即使在极端的压缩比例下,该方法仍然能够有效地保持原始提示的信息,这对于在实际应用中研究不同限制和资源约束下的提示至关重要。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33359.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI生成视频:有点惊艳,有点离谱 上一篇 2025 年 8 月 13 日 下午10:54 App+AI出海掘金者涌入:ChatGPT6个月下载量破1.1亿次收入达3000万 下一篇 2025 年 8 月 13 日 下午10:54 相关推荐 行业动态 2025年最新版WhatsApp养号防封号实战技巧 一、注册环节 1.要用干净长效IP注册;2.一个IP注册1个号;3.最好是使用海外的苹果手机,可屏蔽大部分检测;4.手机语言,可设置成营销目标国语言或英文;4.用最新版WhatsApp安装包;5.手机通讯录,要存一些目标国的号码,大概50-100条;6.代理软件最好用全局方式;7.注册时可更改状态(签名);8.注册完随机操作一些会上报服务器的动作活跃账号;1… siyushenqi.com 2025 年 8 月 13 日 下午10:54 527000 行业动态 Temu上半年GMV逼近30亿美元,整体亏损率约60% Temu今年规模有望达到SHEIN去年的1/3 siyushenqi.com 2025 年 8 月 13 日 507000 Gacha Club美国免费榜第5,欧美玩家喜欢这种二次元? 以IP为核心,不知不觉之中已经成为中国乃至全世界游戏企业的共识,而反观红爆2019年的盲盒,刺激的神秘感早已是在游戏中自立IP的存在,那便是“Gacha”。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 446000 行业动态 ChatGPT运营薪资已过万!再不学要被抛弃了 从年初的疯狂测试到到现在的习以为常,ChatGPT的热度看似已经下降,卖家的讨论不再那么激烈,但实际上ChatGPT在跨境电商行业的应用已经非常深入,覆盖制作图片、视频、翻译等各个运营环节。 siyushenqi.com 2025 年 8 月 14 日 427000 行业动态 DeepSeek V4技术内幕:开源Engram记忆模块,定义下一代出海AI架构 本文深度拆解 DeepSeek 最新开源 Engram 记忆模块 及梁文锋署名论文核心技术。针对互联网 App 出海与智能硬件全球化赛道,重点探讨“条件记忆”机制如何通过 O(1) 复杂度的查找,突破 Transformer 架构的存储瓶颈。 siyushenqi.com 2026 年 1 月 15 日 463000 行业动态 拿到千万美元融资后硬刚Pika,Haiper为什么火了? 成立两年多,Haiper拿到近2000万美元融资,资本为何对其持续看好? siyushenqi.com 2025 年 8 月 13 日 454000 行业动态 OpenAI重金押注,机器人NEO世界模型登场!机器人迎来ChatGPT时刻? OpenAI重金押注的人形机器人初创1X终于揭秘了背后的「世界模型」——它能够根据真实数据,生成针对不同场景的中的行为预测!机器人领域的ChatGPT时刻,或许真的要来了。 siyushenqi.com 2025 年 8 月 13 日 448000 行业动态 阿里巴巴发布通义千问系列最新旗舰模型 阿里巴巴于北京时间周四凌晨发布了通义千问系列的最新旗舰模型Qwen2.5-Omni,这是一款端到端多模态模型,能够处理文本、图像、音频和视频等多种输入,并通过生成文本和合成语音提供实时流式响应。 siyushenqi.com 2025 年 8 月 13 日 412000 行业动态 朱原离职网易,理想主义者的谢幕 朱原作为网易海外投资的核心人物,主导相关工作12年,其离职在游戏行业引起广泛关注。他在领英的告别信中将职业生涯总结为“支持创作者”的使命。 siyushenqi.com 2025 年 8 月 17 日 476000 AI立功!跨境大卖已狠赚3亿 效率革命 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 487000 接连曝光2款新游,获腾讯投资,这个初创团队来头不小 说到“放置”,莉莉丝的《剑与远征》似乎是人们最先想到的。而它确实也十分成功,上线近4年,仍是其余厂商蹚进“放置”这条河必须摸索的石头。《剑与远征》外,反倒是心动研发的《不休的乌拉拉》(下称《乌拉拉》),因运营策略有所偏差,致使昙花一现,逐渐淡出玩家,甚至厂商的视野。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 516000 行业动态 又获2亿美元融资、月下载超千万,AI搜索工具也要建立用户内容生态? 这款AI工具还在疯狂吸粉。 siyushenqi.com 2025 年 9 月 16 日 500000 跨境电商常见八大支付平台 跨境电商常见八大支付平台。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 417000 陌生人社交应用的一些思考(设计篇) 本文将带你用显微镜观察头部社交产品的设计细节,从用户使用产品的各个流程选取最值得参考借鉴的巧思 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 512000 四个月内两度进入韩国畅销Top5,B站游戏竟然用“二次元”打开了韩国市场 对出海的国产游戏来说,韩国这一站的重要性不言而喻。而在笔者近日查看韩国榜单时发现,由B站游戏代理的《高能手办团》在上线后,仅用了2周的时间就杀入了Google Play畅销榜TOP4,并连续两周进入Google Play下载榜前三的位置。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 452000 【出海社交】产品营收达到天花板,还可以如何增加收入? 说到社交产品的营收天花板,秀场方面以Bigo数据最优,大概是千万美金月收入级别,一对一社交产品的代表JOI大概是几百万美金级别,语音房的Yalla也是几百万级别左右。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 451000 行业动态 如何通过Instagram矩阵提升外贸企业在海外市场的影响力 Instagram矩阵的战略价值 矩阵账号结构与定位规划 高质量内容生产与分发机制 广告投放与影响者协同机制 数据分析与持续优化能力 在海外社交媒体环境中,Instagram 已成为外贸企业建立国际品牌影响力的核心阵地之一。相比单一账号运营,Instagram矩阵通过多账号、多角色、多内容形态的协同运作,能够系统性放大品牌信息的触达效率与信任构建速度。本文将… siyushenqi.com 2025 年 8 月 13 日 下午10:54 527000 动漫改编游戏开始变少?好的动漫IP游戏是什么样的? 一款优质漫改游戏怎样才能获得原著粉丝认可,进而成为畅销游戏。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 490000 行业动态 中国网络视听节目服务协会发布《微短剧版权保护倡议书》 近年来,随着数字技术的不断进步和社交媒体平台的日益普及,微短剧凭借小体量、快节奏、低成本的特点,已快速发展成为网络视听内容领域的“新赛道”、推动行业创新发展的“新力量”,内容规模、用户规模、市场规模实现了快速增长,行业逐渐进入精品化阶段,其在精品创作、技术创新、跨界赋能、海外传播等方面的行业价值也愈加重要。 siyushenqi.com 2025 年 8 月 18 日 497000 行业动态 中国网红制造机,盯上欧美失业青年 国内MCN机构卷到海外 siyushenqi.com 2025 年 8 月 12 日 404000 行业动态 腾讯1个月连投两家西班牙工作室,可以组局打国家德比了 一个月内,腾讯投资了两家西班牙游戏工作室。 siyushenqi.com 2025 年 8 月 24 日 519000 挖掘“耳朵经济” 金矿,他到海外做有声书 2018年,于勐加入美国音频出版行业协会成为协会中唯一的中国会员,参加协会举办的活动,他会和很多作者探讨,找寻下一本潜在的IP。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 441000 行业动态 为什么飞书和安克要联合发布一个随身录音设备? 飞书联合安克推出纽扣级AI录音豆,5米拾音8小时续航,语音自动转结构化纪要并沉淀为飞书文档,为出海团队打造随身“上下文入口”。 siyushenqi.com 2026 年 1 月 21 日 366000 行业动态 不玩“期货”的快手接棒Stability AI,国产之光可图大模型Kolors领跑开源生态 最近,快手打造的文生图大模型——可图(Kolors),正式宣布开源,迅速掀起一股旋风。 siyushenqi.com 2025 年 8 月 13 日 353000 行业动态 黑五订单大跳水,大批卖家批量清货被封号! “黑五开始了吗?” “今年黑五到底是什么时候?” siyushenqi.com 2025 年 8 月 12 日 497000 行业动态 头部主播转战短剧,再造带货神话? 头部主播的短剧生意经。 siyushenqi.com 2025 年 8 月 18 日 455000 行业动态 如何通过TikTok矩阵营销实现欧美客户爆发式增长 通过TikTok矩阵营销账号体系,我如何在欧美市场实现客户的爆发式增长,分享我的真实经验和踩坑教训,助力你的营销策略升级。 siyushenqi.com 2026 年 3 月 6 日 377000 PAGC 2025丨展会推荐官 PHILYAP TECHNOLOGY PTE.LTD. 创始人 韩昊辰、MPU丨FlexTV CFO Carol Wang、中文在线集团 内容营销中心营销三部 总经理 张皓 邀您参与万人出海展会 PAGC 2025丨展会推荐官 PHILYAP TECHNOLOGY PTE.LTD. 创始人 韩昊辰、MPU丨FlexTV CFO Carol Wang、中文在线集团 内容营销中心营销三部 总经理 张皓 邀您参与万人出海展会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 503000 行业动态 小家电又爆了?这个出海品牌在日本拿下1亿预售! 在“宅经济”降温、消费者回归理性后,Morus如何“削尖”产品,让消费者看到细节? siyushenqi.com 2025 年 8 月 12 日 528000 快手加速海外本地化 第一批进入Kwai的网红开始火了 相比其他出海的短视频平台,快手更早地成功进入拉美市场,并以巴西为核心快速辐射整个拉美地区。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 629000 发表回复 请登录后评论...登录后才能评论 提交