Kimi硬刚多模态满血版o1,首曝训练细节!强化学习scaling新范式诞生 siyushenqi.com • 2025 年 8 月 13 日 下午9:42 • 行业动态 • 阅读 477 Kimi k1.5是一个多模态强化学习模型,其长思考(Long CoT)模式下性能追平OpenAI的o1满血版,短思考(Short CoT)模式下大幅领先GPT-4o和Claude 3.5。这是首次有公司达到OpenAI之外的最高水平。模型通过长到短(long2short)技术优化,显著提升了短思考模式下的性能。 摘要 Kimi k1.5的设计和训练包含四大关键要素:长上下文扩展(支持128k上下文长度)、改进的策略优化(通过在线镜像下降算法)、简化框架(无需复杂技术如蒙特卡洛树搜索)、多模态能力(联合训练文本和视觉数据)。 Kimi团队采用部分回滚(Partial Rollout)技术,优化长上下文强化学习的效率,通过分段处理长轨迹,减少计算开销。此外,模型通过长到短的强化学习和最短筛选采样等方法,提升Token效率和性能。 Kimi k1.5在多个基准测试中表现出色,包括数学、代码和多模态推理任务。长CoT模型在复杂推理任务中表现出显著的上下文理解和推理能力,短CoT模型则在Token效率上优于其他同类模型。 Kimi将继续迭代多模态推理模型,推出更具通用能力的Kn系列模型,进一步拓展模型在多领域和多模态的应用能力。 还记得吗,AI大神Karpathy曾说过,「英文是最热门的编程语言」。 两年后的现在,这个规则彻底要被颠覆了。 从今天起,中文很有可能成为全球最热门的编程语言! 就在刚刚,Kimi发布了k1.5 多模态思考模型。这是继去年 11 月他们发布 k0-math 数学模型,12月发布 k1 视觉思考模型之后,连续第三个月带来 k 系列强化学习模型的重磅升级。 Kimi k1.5的性能,如今已经全面追上现役全球最强模型——OpenAI o1满血版。 具体来说,在Long CoT模式下,Kimi k1.5的数学、代码、多模态推理能力,达到了长思考SOTA模型OpenAI o1满血版的水平。这也是全球范围内,首次有OpenAI之外的公司达到。 而在Short CoT模式下,Kimi k1.5大幅领先GPT-4o 和Claude 3.5的水平。 短COT模式下,数学成绩显著高于GPT-4o和Claude Sonnet 3.5 同时,月之暗面也大方公开了这个满血版o1水平的强化学习模型的训练技术细节。 简单出奇迹,首创long2short思维链 扒开Kimi k1.5 25页技术报告,可以清晰看到这款模型的技术创新之处。 当前,基于下一个token预测的语言模型,在计算规模上的扩展,已经得到了有效证明。 但模型Scaling仍受限于可用的数据量,为此,Kimi团队创新性地扩展了强化学习(RL)的应用,开辟出一条全新的路径。 它能够让LLM通过奖励机制进行探索性学习,从而自主扩展训练数据,从而实现计算规模有效扩展。 论文地址:https://github.com/MoonshotAI/kimi-k1.5 以下,是k1.5设计和训练的四大关键要素: 1. 长上下文扩展 2. 改进的策略优化 3. 简化框架 4. 多模态 接下来,我们一起深挖一下这些技术细节吧。 短CoT模型的上下文压缩 与业界普遍采用复杂技术做法不同,Kimi团队选择了一条更为优雅的技术路线——回归第一性原理。 他们证明了,无需依赖蒙特卡洛树搜索、价值函数、过程奖励模型,也能让模型取得卓越的性能。 如上所见,我们已经看到了Kimi k1.5在多个权威基准测试中,取得了显著的突破。 那么,long2short是如何被实现的呢? Kimi团队认为,可以将长CoT模型的推理先验转移到短CoT模型中,从而即使在有限的测试Token预算下也能提高性能。 模型合并 将长CoT模型和短CoT模型进行合并,除了可以在泛化性上起到积极的作用,还可以提高Token的使用效率。 这种方法通过简单地平均两个模型的权重,将一个长CoT模型与一个短模型结合,得到一个新的模型,而无需进行训练。 最短筛选采样 由于模型对于同一问题生成的响应长度变化很大,因此团队设计了一种最短筛选采样方法。 也就是,先对同一问题采样n次,然后选择最短的正确响应进行监督微调。 DPO 利用长CoT模型生成多个响应样本,然后选择最短的正确解作为正样本,并将较长的响应视为负样本,包括正确但长度是选定正样本1.5倍的较长响应。 这些正负样本对数据集形成了用于DPO训练的成对偏好数据。 long2short强化学习 在标准强化学习训练阶段之后,团队选择了一个在性能与Token使用效率之间提供最佳平衡的模型作为基础模型,并进行单独的long2short强化学习训练阶段。 在第二阶段中,他们应用了「长度惩罚」,并显著减少了最大展开长度,以进一步惩罚可能正确但超出期望长度的响应。 强化学习基础设施 Kimi k1.5系统设计了一种迭代同步的RL框架,旨在通过持续的学习与适应来增强模型的推理能力。 该系统的一项关键创新是引入了部分回滚(Partial Rollout)技术,用于减少计算开销并优化复杂推理轨迹的处理。 如下图3a所示,RL训练系统通过迭代同步的方法运行,每次迭代包含回滚阶段和训练阶段。 在回滚阶段,由中央主控协调的回滚工作节点通过与模型交互生成回滚轨迹,这些轨迹是模型对各种输入生成的响应序列。在随后的训练阶段,训练工作节点访问这些经验以更新模型的权重。 这个循环过程使模型能够持续从其行为中学习,随着时间的推移调整其策略以提升性能。 长CoT强化学习的部分回滚技术 部分回滚(Partial Rollouts)能够通过同时管理长轨迹和短轨迹的回滚,有效地解决处理长CoT特性时的资源分配和效率挑战,进而实现长上下文强化学习(RL)训练的规模扩展。 该技术设定了一个固定的输出Token预算,对每个回滚轨迹的长度进行限制。如果某个轨迹在回滚阶段超过了Token限制,其未完成部分被保存到重放缓冲区,并在后续迭代中继续处理。 此外,由于回滚工作节点是异步运行的,当某些节点处理长轨迹时,其他节点可以独立地处理新的短回滚任务。 如图3b所示,部分回滚系统通过在多次迭代中将长响应分解为多个片段来运行,显著降低了计算开销——系统无需一次性处理整个响应,而是逐步处理和存储片段,从而在保持快速迭代时间的同时生成更长的响应。 部分回滚的实现还提供了重复检测功能。系统能够识别生成内容中的重复序列并提前终止,从而减少不必要的计算,同时保持输出质量。 训练与推理的混合部署 研究者提出了一种用于训练和推理任务的混合部署策略,该策略利用Kubernetes的Sidecar容器共享所有可用GPU,将两种任务协同部署在同一个Pod中。这一策略的主要优势包括: 促进了资源的高效共享与管理,避免了训练节点因等待推理节点而处于空闲状态(当两者部署在不同节点时) 通过使用不同的部署镜像,训练和推理可以独立迭代,从而实现更好的性能 架构并不限于vLLM,还可以方便地集成其他框架 如图4所示,研究者在Megatron和vLLM的基础上实现了这一混合部署框架,从训练到推理阶段不到一分钟的转换时间,反向转换则约为十秒钟。 实验结果 由于k1.5是一个多模态模型,研究者对不同模态的各种基准进行了综合评估。基准测试主要包括以下三类: Text Benchmark:MMLU, IF-Eval, CLUEWSC, C-EVAL Reasoning Benchmark:HumanEval-Mul, LiveCodeBench, Codeforces, AIME 2024, MATH500 Vision Benchmark:MMMU, MATH-Vision, MathVista k1.5长CoT模型 Kimi的k1.5长CoT模型通过长CoT监督微调和视觉-文本联合强化学习,在长距离推理上获得了显著的增强。 评估显示,模型在长上下文中的推理、理解和信息综合能力方面有了显著提升,标志着多模态AI能力的显著进步。 k1.5短CoT模型 Kimi的k1.5短CoT模型集成了多种技术,包括传统监督微调方法、强化学习以及长到短知识蒸馏。 如表3所示,k1.5短CoT模型在覆盖多个领域的多项任务中表现出与领先的开源和专有模型相当或更优的性能。 长上下文Scaling 研究者使用一个中型模型,来研究结合LLM的强化学习的扩展特性。如图5所示,随着训练的进行,模型响应长度和性能准确率同时增加。 尤其值得注意的是,在更具挑战性的基准测试中,响应长度的增长更为陡峭,这表明模型在处理复杂问题时学会生成更详尽的解决方案。 图6表明,模型输出的上下文长度与其问题解决能力之间存在显著的相关性。 最终,k1.5模型的运行能支持128k上下文长度,并在困难的推理基准测试中持续取得改进。 由长到短 研究者重点研究了long2short问题中的Token效率,特别是长CoT模型如何提升短模型性能。 如图7所示,提出的long2short强化学习算法在Token效率方面优于其他方法(如DPO和模型合并)。 值得注意的是,k1.5系列的所有模型(用橙色标记)在Token效率上都优于其他模型(用蓝色标记)。 思考模型,进入冲刺 可以看到,在多模态推理技术路线上,Kimi又进了一步。 从2024年11月,他们首次推出的数学推理模型K0-math就展现出了在数学领域的领先性。 紧接着一个月后,K1视觉思考模型诞生,不仅继承了K0-math的数学底蕴,更突破性地解锁了视觉理解能力。 这意味着,K1不仅「会算」,还能「会看」——通过理解图片中的信息,并通过逐步推理得出答案。 如今,k1.5又继续向前推进了一步,在多个领域数理化、代码、通用中,刷新了SOTA,甚至能够媲美世界顶尖模型。 下一步,Kimi依旧会发力多模态推理,继续迭代出能够在更多模态、更多领域、具备更强通用能力的Kn系列的模型。 k1.5已经带来了诸多惊喜,还真是有点期待下一代模型的到来。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32825.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 DeepSeek 开源最强推理模型 R1,再震欧美同行 上一篇 2025 年 8 月 13 日 下午9:42 视频、搜索、PPT 一锅端,这块 AI 画布一用就回不去了 下一篇 2025 年 8 月 13 日 下午9:42 相关推荐 出海观察丨剖析Voodoo 3大超休闲手游爆款 探寻60亿下载背后方法论 Voodoo旗下全部游戏下载量破60亿,前9月贡献10亿下载量 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 446000 SHEIN成为跨境出海影响力第一平台,撼动亚马逊 立足国内供应链,不断放大品牌效应,才能逃避不是为这家平台打工,就是为另外一家平台打工的命运。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 428000 网易第二款自研项目上线,它会打破市场格局吗 网易也想在EA的领域里分一杯羹 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 500000 行业动态 《Splitgate》开发者:怎样做一款有新意的竞技射击游戏? 1047首席执行官兼创始人伊恩·普罗克斯(Ian Proulx)在近期接受外媒采访时表示,他对《Spiltgate》的爆火没有足够的心理预期:随着海量玩家涌入游戏,1047需要在尽量积极响应玩家需求,与充分考虑开发团队的能力之间把握平衡。 siyushenqi.com 2025 年 8 月 25 日 539000 行业动态 2024年11月中国手游发行商全球收入排行榜 2024年11月共35个中国厂商入围全球手游发行商收入榜TOP100,合计吸金18.7亿美元,占本期全球TOP100手游发行商收入34.8%。 siyushenqi.com 2025 年 8 月 17 日 429000 行业动态 下一站拉美,TikTok Shop即将进军新市场? 断层领先!TikTok2023年全球下载量暴涨。 siyushenqi.com 2025 年 8 月 12 日 496000 行业动态 Temu挑起拼多多大梁,黄峥预言成真 黄峥:一步一步走过去,也不见得没有机会。 siyushenqi.com 2025 年 8 月 12 日 415000 行业动态 王者荣耀国际服全球推出,首日多国登顶 2024年6月20日,王者荣耀国际服「Honor of Kings」上线东南亚、北美、欧洲、日韩和拉美等市场。 siyushenqi.com 2025 年 8 月 18 日 404000 行业动态 涉及6项!大疆起诉影石“偷”专利 大疆在深圳法院起诉影石创新,涉及6项无人机关键技术专利归属,指控前员工离职一年内发明创造与原有职务高度相关。 转自扬帆出海 2026 年 3 月 27 日 230000 行业动态 用DeepSeek创收的“小公司”,痛并快乐着 DeepSeek的火爆推动了AI的普及,成为增速最快的AI应用之一,但也导致其服务器常常繁忙。众多企业纷纷接入DeepSeek,包括云服务提供商、芯片制造商及各类应用公司,接入后企业流量大增,如腾讯元宝APP登顶苹果应用商店免费APP下载排行榜。 siyushenqi.com 2025 年 8 月 13 日 402000 行业动态 8月营收增长13% 点点互动挺进中国手游出海收入榜三甲 9月11日,第三方机构Data.ai公布了2023年8月中国游戏厂商及应用出海收入30强排行榜单,世纪华通(SZ.002602)旗下点点互动继7月上升到第4名后,8月已超越三七互娱,挺进榜单三甲位置。 siyushenqi.com 2025 年 8 月 19 日 397000 行业动态 三七互娱双线落子:投资AI前沿基金,入股前“倩女幽魂”主创公司 子公司拟出 200 万美元参投 Lighthouse Founders’Fund,占 2.5% 份额,重点锁定 AI+产业/硬件等泛科技赛道,为游戏主业做技术储备。 siyushenqi.com 2025 年 12 月 12 日 522000 出海Top 20的黑马团队,下场做了一个易用且免费的AIGC工具 游戏团队做的AI绘图工具,靠谱吗 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 510000 行业动态 韩国顶级团队下场拍短剧,我们抄都抄不来 韩国头部流媒体 TVING 推出竖屏短剧厂牌「TVing Short Original」,1-2 分钟/集、全年免费,正式杀入短剧赛道。 siyushenqi.com 2025 年 8 月 26 日 524000 免费榜第三,畅销榜前十,快手游戏发行的第一款MMO究竟如何? 由上海塔人网络开发、快手游戏发行的回合制MMO《魔力宝贝:旅人》(下文简称《旅人》)正式上线,并登上iOS免费榜第三,进入畅销榜前十 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 582000 行业动态 小扎发布虚拟聊天AI,竟「1:1复刻」Character.AI?用户吐槽:设定太老土了 Meta的AI产品化之路,第一步可能就是先抄Character.AI的虚拟角色聊天功能。更多消息,周三Meta Connect大会揭晓。 siyushenqi.com 2025 年 8 月 13 日 413000 行业动态 揭秘字节最吸金的海外AI应用:月活超3亿,一年狂揽1.25亿美元 字节跳动旗下最吸金的海外AI应用,出现了。 siyushenqi.com 2025 年 8 月 13 日 497000 行业动态 被短剧吊打两年后,长视频想靠AI翻身 三年前的中国网络视听大会上,长视频巨头的大佬们演讲途中,突然放下了体面,狂喷短视频,戏剧性的一幕,至今在行业内聊起来,依旧令人印象深刻。 如今回过头看,那时候的长视频平台,似乎还尚存一些底气,敢对台下的主管部门领导们发出一些愤怒和不满的声音。要知道,今天的中国网络视听行业格局悄然生变,长视频已经被来自各方的竞争对手们挤压得没了脾气。 siyushenqi.com 2025 年 8 月 18 日 487000 行业动态 被低估的AI芯片强国 近年AI的繁荣,让拥有包括HBM在内的韩国存储公司受益匪浅,尤其是领先的龙头SK海力士,更是挣到盘满钵满。韩国也因此成为了AI市场的赢家。但其实除了存储以外,韩国在AI芯片市场,还有很多布局。某种程度上说,我们低估了这个东亚国家的AI实力。 siyushenqi.com 2025 年 8 月 13 日 412000 行业动态 快抖微,抢夺“霸总” 一手躺赚广告费,一手做独立APP。 siyushenqi.com 2025 年 8 月 18 日 452000 行业动态 一枚戒指,估值777亿 仅 4–6 克的 Oura 智能戒指完成 8.75 亿美元 E 轮,估值 109 亿美元,一年翻倍,成为男性主导穿戴市场里“最吸金”的隐形冠军。 siyushenqi.com 2025 年 10 月 20 日 442000 行业动态 SHEIN又融资了,在本月,听说20亿! 据外媒消息,中国快时尚出海品牌SHEIN 将在本月进行新一轮融资,大约是20亿美元,并计划于2023年下半年在美国上市。 siyushenqi.com 2025 年 8 月 12 日 435000 行业动态 拼多多2023年实现营收2476亿 助力品质好物与消费升级双向奔赴 持续为最广大的消费者创造独特价值。 siyushenqi.com 2025 年 8 月 12 日 381000 行业动态 沙特自建站平台Salla再接入新支付服务,先买后付成为电商必需品? 沙特自建站平台Salla再接入新支付服务,先买后付成为电商必需品? siyushenqi.com 2025 年 8 月 13 日 483000 行业动态 这届AI顶流都在小红书? 小红书上出现了越来越多的AI生成内容,包括虚拟AI账号发布的图像和鸡汤文学等,这些内容由于制作技术成熟,越来越难以与真人创作区分,导致平台上真假难辨。 siyushenqi.com 2025 年 8 月 13 日 468000 行业动态 前谷歌CEO:谷歌落后OpenAI,因为员工一周只来公司一天 谷歌现在的远程工作方式是罪魁祸首,员工认为早点回家陪伴家人,比工作取得成就更重要。 siyushenqi.com 2025 年 8 月 13 日 378000 行业动态 故技重施!印尼当局“封杀”TEMU,已无法访问 印尼通信和信息部(Kominfo)禁止了中国在线购物平台TEMU在印尼的访问,以保护国内的微型、小型和中型企业(MSME)。 siyushenqi.com 2025 年 8 月 5 日 445000 行业动态 坏AI,到底能有多坏? 到 2030 年代结束时,世界将发生彻底、不可辨认的变化。一个新的世界秩序将被建立,很快,人工智能将统治世界。 siyushenqi.com 2025 年 8 月 13 日 410000 用MMO思维做女性向产品?祖龙新作首日登顶港澳台新马免费榜 意料之外。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 461000 海外掘金路漫漫,彩妆出海成果几何 东方美学设计使得众多海外消费者为其买单,也的确折射出中国美学成为国际潮流的潜力。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 422000 发表回复 请登录后评论...登录后才能评论 提交