月之暗面刚开源多模态Kimi-2506:智能体、视觉理解,重磅大升级 siyushenqi.com • 2025 年 8 月 13 日 上午11:28 • 行业动态 • 阅读 446 月之暗面(MoonshotAI)开源的多模态模型Kimi-VL-A3B-Thinking升级到了2506版本,该版本在多模态推理准确性、视觉理解能力、高分辨率图像处理、视频理解以及模型性能等方面都有显著提升。 摘要 在多模态推理基准测试中,如MathVision、MathVista、MMMU-Pro、MMMU等,2506版本的准确性大幅提升,同时平均思考长度减少了20%。在视觉理解方面,2506版本在MMBench-EN-v1.1、MMStar、RealWorldQA、MMVet等任务上的表现超越了非思考模型Kimi-VL-A3B-Instruct,展现出更全面的视觉理解能力。 Kimi-VL-A3B-Thinking是一个多模态专家混合模型,主要由MoonViT、MLP投影器、专家混合模型三大块组成。 Kimi-VL采用了增强版的Muon优化器,相比原始版本,添加了权重衰减以控制模型复杂度防止过拟合,调整了每个参数的更新比例以优化训练效果,并开发了遵循ZeRO-1优化策略的分布式实现,提高了内存使用效率,降低了通信开销,为模型训练优化提供了有力保障。 2506版本在图像理解、图表推理、数学计算、OS智能体接地、长PDF理解和视频分析等多个领域都有出色表现,支持特定回答模式和思考链,能够准确识别图像内容、分析模型性能、解决数学问题、精准定位界面元素、深入分析文档内容以及精准拆分和描述视频场景等。 国内著名大模型平台月之暗面(MoonshotAI)对其开源的多模态模型Kimi-VL-A3B-Thinking进行了大升级,发布了2506版本。 开源地址:https://huggingface.co/moonshotai/Kimi-VL-A3B-Thinking-2506 在线demo:https://huggingface.co/spaces/moonshotai/Kimi-VL-A3B-Thinking 在性能表现上,Kimi-VL-A3B-Thinking-2506实现了更聪明且更省token的突破。在多模态推理基准测试中取得了更好的准确性:MathVision上达到56.9(提升20.1),MathVista上为80.1(提升8.4),MMMU-Pro上是46.3(提升3.2),MMMU上为64.0(提升2.1),同时平均所需的思考长度减少了20%。 视觉理解能力方面,模型做到了“边思考边看得更清晰”。不同于前一版本专注于思考任务,2506版本在常规视觉感知与理解任务上也达到了同等甚至更好的能力。 例如,在MMBench-EN-v1.1上得分为84.4,MMStar上为70.4,RealWorldQA上是70.0,MMVet上为78.4,超越了非思考模型Kimi-VL-A3B-Instruct的能力,展现出更全面的视觉理解实力。 此外,模型还实现了更高分辨率的支持。2506版本支持单张图像320万总像素(1792x1792),是前一版本的4倍。使得模型在高分辨率感知和OS-agent接地基准测试中取得了显著进步:在V*Benchmark上得分为83.2,ScreenSpot-Pro上为52.8,OSWorld-G上为52.5,能够更好地处理高清晰度图像相关任务。 在使用方面,2506版本在图像理解、图表推理、数学计算、OS智能体接地、长PDF理解和视频分析等多个领域都有出色表现,并且支持特定回答模式和思考链。 例如,在图像理解中,能准确识别猫的品种、高分辨率图像内容等;在图表推理中,可正确分析不同模型在特定类别下的语义标签准确率;在数学计算里,轻松解决数字填空谜题; 在OS智能体接地任务中,精准定位并点击界面元素;在长PDF理解时,深入分析文档内容得出基准测试中的最先进模型及其性能;在视频理解方面,将视频精准拆分为多个场景并详细描述。 根据月之暗面之前公布的技术报告显示,Kimi-VL-A3B-Thinking是一个多模态专家混合模型,主要由MoonViT、MLP投影器、专家混合模型三大块组成。 原生分辨率视觉编码器MoonViT,可直接处理不同分辨率的图像,无需借助复杂的子图像分割和拼接操作。 借鉴了NaViT中的打包方法,将图像分割成小块,然后将这些小块展平并顺序连接成1D序列。这种预处理方式使得MoonViT能够与语言模型共享相同的核心计算操作,例如支持可变长度序列注意力机制的FlashAttention,从而确保了不同分辨率图像的训练吞吐量不受影响。 MoonViT的初始权重来源于SigLIP-SO-400M,该模型原本采用可学习的固定大小绝对位置嵌入来编码空间信息。然而,当图像分辨率增加时,这种原始位置嵌入会逐渐变得不适用。为了解决这一问题,Kimi-VL引入了2D旋转位置嵌入,在高度和宽度维度上对细粒度的位置信息进行编码,并将其与原始位置嵌入相结合。 这种结合方式使得MoonViT能够高效地处理不同分辨率的图像,同时无缝地融入到整个模型的架构中。 MLP投影器则采用了双层架构,在视觉编码器和语言模型之间起到了至关重要的桥梁作用。MLP投影器首先通过像素洗牌操作对MoonViT提取的图像特征进行空间维度的压缩。这一操作通过执行2×2的下采样,在空间域中对特征进行降维,同时相应地扩展通道维度。 随后,将像素洗牌后的特征输入到两层MLP中,将其投影到与LLM嵌入维度相同的维度上。这一过程为后续训练阶段的顺利进行提供了有力支持,确保了视觉特征能够以合适的形式被语言模型所接收和处理。 Kimi-VL-A3B-Thinking的语言模型基于Moonlight模型,这是一种28亿激活参数、160亿总参数的专家混合模型。其架构与DeepSeek-V3相似,从Moonlight的预训练阶段的一个中间检查点初始化。这个中间检查点已经处理了5.2万亿纯文本数据标记,并激活了8192个标记的上下文长度。 在此基础上,继续使用总计2.3万亿标记的多模态和纯文本数据进行联合预训练。这种联合预训练的方式使得模型能够同时提升其语言能力和多模态理解能力,为后续的各种应用奠定了坚实的基础。 在优化器方面,Kimi-VL采用了增强版的Muon优化器。与原始Muon优化器相比,该版本在多个方面进行了改进。首先,它添加了权重衰减,这有助于控制模型的复杂度,防止过拟合现象的发生。 其次,对每个参数的更新比例进行了精心调整,以实现更优的训练效果。此外,还开发了遵循ZeRO-1优化策略的Muon优化器分布式实现。这种分布式实现不仅提高了内存的使用效率,降低了通信开销,还保留了算法的数学特性,从而在整个训练过程中为模型的优化提供了有力保障。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32258.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 价格被打下来,AI眼镜就能上桌了? 上一篇 2025 年 8 月 13 日 上午11:28 拒绝依赖英伟达,亚马逊新自研AI训练芯片2025年末量产 下一篇 2025 年 8 月 13 日 上午11:28 相关推荐 广州游戏圈今年的第一匹黑马,跑出来了! 新作稳居畅销头部两个月 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 452000 行业动态 2025年1月成功出海的中国手游 - 《Whiteout Survival》收入再创新高,《原神》夺得海外收入增长冠军 Sensor Tower商店情报平台最新数据显示,2025年1月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2025 年 8 月 17 日 457000 行业动态 今日人民币兑美元中间价报7.0856,调低20个基点 今日(11月10日),人民币兑美元中间价报7.0856,调低20.0个基点,前一交易日中间价报7.0836。 中国人民银行授权中国外汇交易中心公布,2025年11月10日银行间外汇市场人民币汇率中间价为1美元对人民币7.0856元,1欧元对人民币8.1942元,100日元对人民币4.6151元,1港元对人民币0.91113元,1英镑对人民币9.3287元,1… siyushenqi.com 2025 年 8 月 13 日 上午11:28 446000 行业动态 展会前的准备工作和注意事项 近年国内很多企业到国外参加展会,除开拓市场扩大销售以外,还有机会和国外同行面对面接触,了解国外行业发展动态,了解国际用户的需求,对企业来说,意义还是很大的。 参加国外的展会,首先要明确展会的类型,通常分为以下两种: 1、公司单独参加展会。你所在的公司独立作为一个参展机构进行参与; 2、参与商会、行业协会和其他会展公司的团组。 如果是参与第二种方式,那基本上就… siyushenqi.com 2025 年 8 月 13 日 上午11:28 446000 优衣库母公司23Q1财报显示东南亚、北美及欧洲增速明显,员工薪资是成本中增速最高项目 “具备盈利能力后,UNIQLO将在北美、欧洲市场加速开设新门店。” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 373000 行业动态 AI时代,在海外“杀疯了”的美图,正把自己推向一条更坚定的道路 拆解“美颜出海第一股”美图公司。 siyushenqi.com 2025 年 11 月 23 日 406000 和平精英电竞国际化:自研电竞品牌全球化的第一步 8月24日,2020全球电竞运动领袖峰会暨腾讯电竞年度发布会,于海南博鳌亚洲论坛国际会议中心正式召开。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 465000 首次测试,网易又拿出了一款「没有竞品」的神秘新作 当“经典武侠IP”遇上“开放世界”,两者能碰撞出什么火花? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 483000 背靠上市公司,把一款SLG做成“元宇宙”,这个团队有多敢? 在这款游戏身上,我们能看到哪些市场机会? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 499000 GICC推荐官 华清飞扬 COO 叶大鲁、开心灿烂 联合创始人 刘善泉、Azur Games 中国区CBO 伊万、奇游灵动 CEO 欧阳凯、龙图游戏 VP Grace、明日虫洞 产品VP 冀鑫 邀您参与GICC2025丨第六届全球互联网产业CEO大会! GICC推荐官 华清飞扬 COO 叶大鲁、开心灿烂 联合创始人 刘善泉、Azur Games 中国区CBO 伊万、奇游灵动 CEO 欧阳凯、龙图游戏 VP Grace、明日虫洞 产品VP 冀鑫 邀您参与GICC2025丨第六届全球互联网产业CEO大会! siyushenqi.com 2025 年 9 月 16 日 • 行业动态 494000 行业动态 国产大模型首发中文逻辑推理,「天工大模型4.0」o1版来了 Skywork o1 模型在多步推理任务上表现出色,能够处理比之前模型更复杂的科学、代码和数学问题。它通过模拟人类的思考、计划和反思过程,提高了回答的质量和深度。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 《崩铁》移动端全球收入突破5亿美元 中国市场营收的占比最高 siyushenqi.com 2025 年 8 月 19 日 473000 SHEIN上线一个内衣独立站!流量开始起飞 通过多品牌布局策略,扩大市场领域。SHEIN这次推出的内衣品牌能再造神话吗? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 416000 微信内测跨境电商平台“云逛全球”,加码电商新场景 作为近两年在电商领域进击的腾讯,在继小鹅拼拼、腾讯惠聚后,再次在电商领域落下一子。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 454000 靠美术,如何将横屏地牢探险的游戏装进竖屏的手机里,《黑猫来自天空》是这么做的 《黑猫来自天空》开启了首轮测试,相比较此前游戏在TapTap与好游快爆上极佳的口碑,这次游戏的测试服风评则很有争议。测试服的评分也只有6.1分那么多,与玩家开测前巨大的期待值有较大落差。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 488000 行业动态 《信息革命中的社交娱乐与实时互动》——声网Agora-社交泛娱乐产品负责人-王奇 《信息革命中的社交娱乐与实时互动》演讲视频完整回放 siyushenqi.com 2025 年 8 月 3 日 403000 行业动态 上线就为50万美国人配对成功,这款社交应用吃到ChatGPT红利,月流水增长80% 美国也有“世纪佳缘”了? siyushenqi.com 2025 年 8 月 17 日 419000 阵容强大,索尼花30年买下了多少工作室? 作为全世界规模最大的游戏发行商之一,索尼一直在通过培养内部团队和收购新工作室来寻求扩张。近日,外媒Game World Observer发表文章,回顾了索尼收购游戏工作室的历史,并对索尼旗下现有的所有第一方工作室进行了盘点。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 593000 行业动态 不是派对吃鸡狼人杀玩不起,是迷你小游戏合集更有性价比 当派对小游戏回归线下轰趴。 siyushenqi.com 2025 年 8 月 18 日 457000 海外爆红的字谜游戏 Wordle,现在有了中文版 2021 年,猜词游戏 Wordle 在海外一夜爆红,简单的规则加上打开即玩的便捷,让许多人都为这款网页小游戏着迷,甚至于每天都要「打卡」。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 604000 行业动态 TikTok美国方案正式落地,字节跳动为合资公司最大单一股东 TikTok美国数据安全合资公司成立,甲骨文、银湖、MGX等持股,字节跳动保留19.9%控股权,保障2亿美国用户继续畅用。 siyushenqi.com 2026 年 1 月 29 日 374000 行业动态 VTC Game 如何复兴传奇游戏 在越南游戏行业的历史上,有一款游戏始终位居最受玩家欢迎的产品榜首,那就是《Silkroad Online》。 siyushenqi.com 2025 年 8 月 17 日 476000 行业动态 十八般武艺轮番上阵 三七、英雄游戏、4399想让全球老铁爱上开宝箱 修仙、美少女养成、史莱姆都来了。 siyushenqi.com 2025 年 8 月 19 日 471000 百度国际、Snapchat、钛动科技、字节飞书确认入驻第三届全球产品与增长大会展位 百度国际、Snapchat、钛动科技、字节飞书确认入驻第三届全球产品与增长大会展位 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 494000 行业动态 裁员潮里的“人才荒”:藤校AI博士Josie Zhang,带你拆解AI职场下半场的硬通货 1月16日 10:30,出海研究所特邀 Griting Inc. 创始人兼CEO、藤校AI博士 Josie Zhang 现身直播间,为您深度解码。 siyushenqi.com 2026 年 1 月 21 日 362000 印尼“高考”也疯狂,在线教育“吸金” 2020年上半年,针对印尼科技领域的投资总额为28亿美元,比2019年同期增长了55%。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 482000 行业动态 十年外贸老鸟的真心话:别再做“平台乞丐”了,你的客户矩阵该升级了 干了十年外贸,我劝你别再只当“平台乞丐”了。聊聊怎么把独立站、LinkedIn、社交媒体和沟通工具拧成一股绳,打造属于自己的客户矩阵,把生意主动权拿回来。 siyushenqi.com 2026 年 3 月 6 日 366000 行业动态 2026年第一季度移动应用(非游戏)出海排行榜:短剧FreeReels季度下载量破亿,TikTok全球MAU超过20亿 Sensor Tower发布2026年Q1非游戏应用出海榜单,短剧应用FreeReels下载量破亿,字节跳动旗下Dola、TikTok等产品表现亮眼,AI与内容类应用成增长主力。 转自扬帆出海 2026 年 4 月 18 日 363000 一家老本越啃越厚的游戏公司 打开网龙任意一款游戏的论坛,无论是2006年推出的《魔域》,还是2015年之后上线的《英魂之刃》,亦或是前面所提的《终焉誓约》,几乎时不时就能刷到玩家对服务器的吐槽 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 472000 行业动态 越南电商市场发展趋势报告 市场预计,到2025年,越南电商市场规模将达到90亿美元左右,这对跨境电商卖家而言是巨大的机遇。 siyushenqi.com 2025 年 8 月 13 日 390000 发表回复 请登录后评论...登录后才能评论 提交