月之暗面又开源了！登顶全球第一，还超了新版DeepSeek-R1

siyushenqi.com • 3天前 • 海外营销 • 阅读 4

月之暗面于6月17日推出开源代码大模型Kimi-Dev-72B，该模型在SWE-bench Verified编程基准测试中以72B的参数量取得60.4%的高分，创下开源模型的最高水平，超越了参数量达671B的DeepSeek-R1。

摘要

Kimi-Dev-72B通过大规模强化学习优化，能够自主修补Docker中的真实存储库。其训练过程包括：通过修复错误的补丁和复现错误的测试相互补充，奠定模型基础。使用约1500亿个高质量数据进行训练，增强模型对实际Bug修复和单元测试的理解。专注于提升代码编辑能力，采用基于结果的奖励、高效的提示集和正例强化等策略。

在测试阶段，Kimi-Dev-72B采用自我博弈机制，同时扮演BugFixer和TestWriter角色，最多可生成40个补丁候选和40个测试候选，通过自博弈提升性能。

Kimi-Dev-72B已在Hugging Face和GitHub上提供下载和部署，包括模型权重和源代码，技术报告也将推出。

月之暗面计划扩展Kimi-Dev-72B的功能，未来迭代将侧重于与IDE、版本控制系统和CI/CD流水线的深度集成，使其更无缝地融入开发者工作流程，并持续改进模型，发布更强大的版本。

智东西6月17日报道，今日凌晨，月之暗面推出针对软件工程任务的全新开源代码大模型Kimi-Dev-72B。

该模型在SWE-bench Verified编程基准测试中取得了全球最高开源模型水平，以仅72B的参数量，成绩超过了刚于5月28日发布、参数量多达671B的新版DeepSeek-R1。

Kimi-Dev-72B在AI软件工程能力基准测试SWE-bench Verified上取得了60.4%的高分，创下开源模型的SOTA成绩。

▲开源模型在SWE-bench上的性能已得到验证

▲闭源模型在SWE-bench上的性能已得到验证

通过大规模强化学习进行了优化。它能够自主修补Docker中的真实存储库，并且只有当整个测试套件通过时才会获得奖励。这确保了解决方案的正确性和稳健性，并符合现实世界的开发标准。

Kimi-Dev-72B现已在Hugging Face和GitHub上提供下载和部署。其发布给社区的关键资源包括模型权重、源代码，技术报告也即将推出。

Hugging Face地址：huggingface.co/moonshotai/Kimi-Dev-72B

GitHub地址：github.com/MoonshotAI/Kimi-Dev

月之暗面介绍了Kimi-Dev-72B的设计理念和技术细节，包括BugFixer和 TestWriter的组合、中期训练、强化学习和测试时自我博弈。

1、BugFixer和TestWriter的组合

成功修复错误的补丁（patch）应能通过准确反映该错误的单元测试。同时，复现错误的成功测试应引发断言错误，并在将正确的错误修复补丁应用到代码库后通过。这致使BugFixer和TestWriter互补，一个足够强大的编程大语言模型应该在这两个方面都表现出色。

BugFixer和TestWriter的工作流程类似：它们都会先找到正确的文件进行编辑，然后编辑正确的代码更新，无论是修复脆弱的实现还是插入unittest函数。因此，对于这两种角色，Kimi-Dev-72B都采用了相同的极简框架，该框架仅包含两个阶段：文件本地化和代码编辑。BugFixer和TestWriter的双重设计奠定了Kimi-Dev-72B的基础。

2、训练中期

为了增强Kimi-Dev-72B作为BugFixer和TestWriter的先验知识，月之暗面使用约1500亿个高质量的真实数据进行中期训练。

以Qwen 2.5-72B基础模型为起点，月之暗面收集了数百万个GitHub问题和 PR提交作为其中期训练数据集。数据配方经过精心构建，使Kimi-Dev-72B 能够学习人类开发者如何推理GitHub问题、编写代码修复和单元测试。

月之暗面还进行了严格的数据净化，将所有存储库从SWE-bench Verified中剔除。

中期训练充分增强了基础模型对实际Bug修复和单元测试的了解，使该模型成为后续强化学习训练的更佳起点。

3、强化学习

通过适当的中期训练和SFT，Kimi-Dev-72B在文件本地化方面表现出色。因此，其强化学习阶段专注于提升其代码编辑能力。

月之暗面使用了Kimi k1.5中描述的策略优化方法，该方法在推理任务中表现出色。对于SWE-bench Verified，月之暗面重点关注以下三个关键设计：

仅使用Docker的最终执行结果（0或1）作为奖励，训练期间不采用任何基于格式或过程的奖励。

过滤掉模型在多样本评估下成功率为零的提示，从而更有效地利用大批量。采用课程学习（curriculum learning）法，引入新的提示，逐步提高任务难度。

在训练的最后阶段，将之前迭代中最近成功的样本纳入当前批次。这有助于模型增强成功模式并提升性能。

Kimi-Dev-72B通过使用高度并行、强大且高效的内部agent基础设施，从可扩展数量的问题解决任务的训练中受益。