Kimi开源全新音频基础模型,横扫十多项基准测试,总体性能第一 siyushenqi.com • 2025 年 8 月 13 日 下午10:07 • 行业动态 • 阅读 534 Kimi-Audio 是一个开源的通用音频基础模型,支持语音识别、音频理解、音频转文本、语音对话等多种任务,并在多个音频基准测试中实现了最先进的(SOTA)性能。其代码、模型检查点和评估工具包已在 GitHub 上开源。 摘要 Kimi-Audio 采用集成式架构,包含三个核心组件:音频分词器(Audio Tokenizer)、音频大模型(Audio LLM)和音频去分词器(Audio Detokenizer)。音频分词器将输入音频转化为离散语义 token 和连续声学向量;音频大模型基于 Transformer 层处理多模态输入并生成文本和音频 token;音频去分词器将离散 token 转化为高质量音频波形。 Kimi-Audio 使用了约 1300 万小时的多语言、多场景音频数据进行预训练,并通过监督微调进一步提升性能。训练方法包括仅文本和仅音频预训练、音频到文本映射以及音频文本交错训练,以弥合模态间的差距。 Kimi-Audio 在多个音频基准测试中表现出色,例如在 LibriSpeech ASR 测试中 WER 仅为 1.28%,在 VocalSound 测试中达到 94.85%。它还在 MMAU 任务中获得多项最高分,并在 VoiceBench 的语音理解能力评估中全面领先。 Kimi-Audio 的发布为音频处理领域提供了强大的工具,其开源的模型和评估工具包将促进社区研究和开发。未来,该模型有望在语音识别、音频理解、语音对话等应用中发挥重要作用。 今天,kimi 又发布了新的开源项目 —— 一个全新的通用音频基础模型 Kimi-Audio,支持语音识别、音频理解、音频转文本、语音对话等多种任务,在十多个音频基准测试中实现了最先进的 (SOTA) 性能。 结果显示,Kimi-Audio 总体性能排名第一,几乎没有明显短板。 例如在 LibriSpeech ASR 测试上,Kimi-Audio 的 WER 仅 1.28%,显著优于其他模型。VocalSound 测试上,Kimi 达 94.85%,接近满分 。MMAU 任务中,Kimi-Audio 摘得两项最高分;VoiceBench 设计评测对话助手的语音理解能力,Kimi-Audio 在所有子任务中得分最高,包括一项满分。 研发人员开发了评估工具包,可在多个基准任务上对音频 LLM 进行公平、全面评估 ,五款音频模型(Kimi-Audio、Qwen2-Audio、Baichuan-Audio、StepAudio、Qwen2.5-Omni)在各类音频基准测试中的表现对比。紫线(Kimi-Audio)基本覆盖最外层,表明其综合表现最佳。 目前,模型代码、模型检查点以及评估工具包已经在 Github 上开源。 项目链接:https://github.com/MoonshotAI/Kimi-Audio 新颖的架构设计 为实现 SOTA 级别的通用音频建模, Kimi-Audio 采用了集成式架构设计,包括三个核心组件 —— 音频分词器(Audio Tokenizer)、音频大模型(Audio LLM)、音频去分词器(Audio Detokenizer)。 这一架构使 Kimi-Audio 能够在单一模型框架下,流畅地处理从语音识别、理解到语音对话等多种音频语言任务。 Kimi-Audio 由三个主要组件组成:音频分词器(Audio Tokenizer)、音频大模型(Audio LLM)、音频去分词器(Audio Detokenizer)。 具体而言,音频分词器(Audio Tokenizer)负责将输入音频转化为通过矢量量化(vector quantization)得到的离散语义 token,帧率为 12.5Hz。同时,音频分词器还提取连续的声学向量,以增强感知能力。 这种结合方式使模型既具有语义上的压缩表示,又保留了丰富的声学细节,从而为多种音频任务提供了坚实的表示基础。 音频大模型(Audio LLM)是系统的核心,负责生成语义 token 以及文本 token,以提升生成能力。其架构基于共享 Transformer 层,能够处理多模态输入,并在后期分支为专门用于文本和音频生成的两个并行输出头。 音频去分词器(Audio Detokenizer)使用流匹配(flow matching)方法,将音频大模型预测出的离散语义 token 转化为连贯的音频波形,生成高质量、具有表现力的语音。 数据建构与训练方法 除了新颖的模型架构,构建 SOTA 模型的核心工作还包括数据建构和训练方法。 为实现 SOTA 级别的通用音频建模,Kimi-Audio 在预训练阶段使用了约 1300 万小时覆盖多语言、音乐、环境声等多种场景的音频数据,并搭建了一条自动处理 “流水线” 生成高质量长音频 - 文本对。 预训练后,模型进行了监督微调(SFT),数据涵盖音频理解、语音对话和音频转文本聊天三大类任务,进一步提升了指令跟随和音频生成能力。 Kimi-Audio 预训练数据处理流程的直观展示。简单来说,就是把原始音频一步步净化、切分、整理,变成干净、有结构、有标注的训练数据。 在训练方法上,为实现强大的音频理解与生成能力,同时保持模型的知识容量与智能水平,研发人员以预训练语言模型为初始化,设计了三个类别的预训练任务: 仅文本和仅音频预训练,用于分别学习两个模态的知识;音频到文本的映射,促进模态转换能力;音频文本交错训练,进一步弥合模态间的鸿沟。 在监督微调阶段,他们设计了一套训练配方,以提升训练效率与任务泛化能力。 考虑到下游任务的多样性,研究者没有设置特殊的任务切换操作,而是为每个任务使用自然语言作为指令;对于指令,他们构建了音频和文本版本(即音频由 Kimi-TTS 在零样本方式下基于文本生成),并在训练期间随机选择一种;为了增强遵循指令能力的鲁棒性,他们使用大语言模型为 ASR 任务构建了 200 条指令,为其他任务构建了 30 条指令,并为每个训练样本随机选择一条。他们构建了大约 30 万小时的数据用于监督式微调。 如表 1 和表 2 所示,他们基于全面的消融实验,在每个数据源上对 Kimi-Audio 进行了 2-4 个训练周期的微调,使用 AdamW 优化器,学习率从 1e⁻⁵ 到 1e⁻⁶ 进行余弦衰减,使用 10% 的 token 进行学习率预热。 此外,他们还分三个阶段训练音频解码器。首先,使用预训练数据中的大约 100 万小时的音频,对流匹配模型和声码器进行预训练,以学习具有多样化音色、语调和质量的音频。其次,采用分块微调策略,在相同的预训练数据上将动态块大小调整为 0.5 秒到 3 秒 。最后,在 Kimi-Audio 说话者提供的高质量单声道录音数据上进行微调。 评估结果 研究者基于评估工具包,详细评估了 Kimi-Audio 在一系列音频处理任务中的表现,包括自动语音识别(ASR)、音频理解、音频转文本聊天和语音对话。他们使用已建立的基准测试和内部测试集,将 Kimi-Audio 与其他音频基础模型(Qwen2-Audio 、Baichuan-Audio、Step-Audio、GLM4-Voice 和 Qwen2.5-Omini )进行了比较。 自动语音识别 研究者对 Kimi-Audio 的自动语音识别(ASR)能力进行了评估,涵盖了多种语言和声学条件的多样化数据集。如表 4 所示,Kimi-Audio 在这些数据集上持续展现出比以往模型更优越的性能。他们报告了这些数据集上的词错误率(WER),其中较低的值表示更好的性能。 值得注意的是,Kimi-Audio 在广泛使用的 LibriSpeech 基准测试中取得了最佳结果,在 test-clean 上达到了 1.28 的错误率,在 test-other 上达到了 2.42,显著超越了像 Qwen2-Audio-base 和 Qwen2.5-Omni 这样的模型。在普通话 ASR 基准测试中,Kimi-Audio 在 AISHELL-1(0.60)和 AISHELL-2 ios(2.56)上创下了最先进的结果。此外,它在具有挑战性的 WenetSpeech 数据集上表现出色,在 test-meeting 和 test-net 上均取得了最低的错误率。最后,研究者在内部的 Kimi-ASR 测试集上的评估确认了该模型的鲁棒性。这些结果表明,Kimi-Audio 在不同领域和语言中均具有强大的 ASR 能力。 音频理解 除了语音识别外,研究者还评估了 Kimi-Audio 理解包括音乐、声音事件和语音在内的各种音频信号的能力。表 5 总结了在各种音频理解基准测试上的性能,通常较高的分数表示更好的性能。 在 MMAU 基准测试中,Kimi-Audio 在声音类别(73.27)和语音类别(60.66)上展现出卓越的理解能力。同样,在 MELD 语音情感理解任务上,它也以 59.13 的得分超越了其他模型。Kimi-Audio 在涉及非语音声音分类(VocalSound 和 Nonspeech7k )以及声学场景分类(TUT2017 和 CochlScene)的任务中也处于领先地位。这些结果突显了 Kimi-Audio 在解读复杂声学信息方面的高级能力,超越了简单的语音识别范畴。 音频到文本聊天 研究者使用 OpenAudioBench 和 VoiceBench 基准测试 评估了 Kimi-Audio 基于音频输入进行文本对话的能力。这些基准测试评估了诸如指令遵循、问答和推理等各个方面。性能指标因基准测试而异,较高的分数表示更好的对话能力。结果如表 6 所示。 在 OpenAudioBench 上,Kimi-Audio 在多个子任务上实现了最先进的性能,包括 AlpacaEval、Llama Questions 和 TriviaQA,并在 Reasoning QA 和 Web Questions 上取得了极具竞争力的性能。VoiceBench 评估进一步证实了 Kimi-Audio 的优势。它在 AlpacaEval(4.46)、CommonEval(3.97)、SD-QA(63.12)、MMSU(62.17)、OpenBookQA(83.52)、Advbench(100.00)和 IFEval(61.10)上均持续超越所有对比模型。Kimi-Audio 在这些全面的基准测试中的整体表现证明了其在基于音频的对话和复杂推理任务中的卓越能力。 语音对话 最后,他们基于多维度的主观评估,评估了 Kimi-Audio 的端到端语音对话能力。如表 7 所示,Kimi-Audio 与 GPT-4o 和 GLM-4-Voice 等模型在人类评分(1-5 分量表,分数越高越好)的基础上进行了比较。 除去 GPT-4o,Kimi-Audio 在情感控制、同理心和速度控制方面均取得了最高分。尽管 GLM-4-Voice 在口音控制方面表现略佳,但 Kimi-Audio 的整体平均得分仍高达 3.90,超过了 Step-Audio-chat(3.33)、GPT-4o-mini(3.45)和 GLM-4-Voice(3.65),并与 GPT-4o(4.06)仅存在微小差距。总体而言,评估结果表明,Kimi-Audio 在生成富有表现力和可控性的语音方面表现出色。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33090.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI应用大盘点:谁暴涨?谁掉队? 上一篇 2025 年 8 月 13 日 下午10:06 上千人众筹95万美元支持AI伴侣,陪伴市场开始硬件化了? 下一篇 2025 年 8 月 13 日 下午10:07 相关推荐 行业动态 Byteplus&云智慧、Holopix AI 确认入驻PAGC 2025丨第五届全球产品与增长展会! Byteplus&云智慧、Holopix AI 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 550000 短剧、游戏、投融资三场对接会火热来袭,更有出海开放麦等你来聊! 5月27-28日,PAGC 2026将于广州·广交会展馆C区14.2-15.2馆正式启幕。 转自扬帆出海 2026 年 4 月 18 日 • 行业动态 234000 工具卖疯了!多位Temu卖家被“割韭菜” Temu在海外狂奔,吸引了大量用户。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 475000 AI重塑网文? 网文大模型来了,作家们为什么不焦虑? siyushenqi.com 2025 年 8 月 14 日 • 行业动态 476000 行业动态 刘强东出手了,美团做的我们也要做 刘强东:我们不努力的话,就会死掉,这个世界就是这么残酷。 siyushenqi.com 2025 年 8 月 5 日 430000 行业动态 仅上线一天,吸引3万用户尝试AI解梦,信科学还是信“玄学”? 私密电子日记本,看AI如何正向引导用户情绪。 siyushenqi.com 2025 年 8 月 13 日 490000 行业动态 看完谷歌Meta最新财报,终于理解它们为啥砸锅卖铁干AI了 传统“科技-零售广告循环”与新兴“AI内循环”共同支撑三巨头营收、利润双超预期。 siyushenqi.com 2025 年 8 月 13 日 385000 行业动态 OpenAI启动全球版“星际之门”,首批10个国家 OpenAI宣布将为全球各国建立类似“星际之门”项目的AI基础设施,并提供定制版ChatGPT,以改善医疗、教育、法律等领域。 siyushenqi.com 2025 年 8 月 13 日 419000 行业动态 eBay德国站取消货到付款功能,推动卖家合规销售 eBay持续推进合规化进程。 siyushenqi.com 2025 年 8 月 12 日 394000 行业动态 仅靠预告PV就成为新一代玩法原型,Tap4Fun等厂商已跟进,移动战车版“Kingshot”已正在路上? Steam游戏创意的又一次“胜利”。 siyushenqi.com 2025 年 9 月 22 日 480000 行业动态 前老板借钱10万创业,靠什么做出年营收3个亿的户外运动品牌? 3年清库存亏损百万,跑通新模式年营收3个亿。 siyushenqi.com 2025 年 8 月 7 日 427000 从财报看这家女性向游戏大厂的2022与2023:不只是“守擂” 对于友谊时光这个独占一个细分方向的女性向大厂来说,短时间优势还是无须担心的,不过想要实现再进一步,长线运营以及品类突破是重中之重。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 479000 行业动态 TikTok迎来了首款游戏,由Playco与网红主播合作开发 近日,专注于面向社交媒体制作即时可玩游戏的日本公司Playco公布了新作《Sway Stories》,它也是登陆热门短视频平台TikTok(抖音海外版)的首款游戏。 siyushenqi.com 2025 年 8 月 25 日 402000 行业动态 百度智能云 资深解决方案架构师 Joey Li 确认担任 GICC2025丨第六届全球互联网产业CEO大会跨境电商线上峰会演讲嘉宾! 百度智能云 资深解决方案架构师 Joey Li 确认担任 GICC2025丨第六届全球互联网产业CEO大会跨境电商线上峰会演讲嘉宾! siyushenqi.com 2025 年 10 月 15 日 430000 私域神器读财报:爱奇艺Q2海外MAU增长77% 东南亚多国下载榜稳居Top5 爱奇艺(NASDAQ:IQ)昨日披露Q2业绩,财报显示2021年Q2营收76亿(约12亿美元),净利润-13.79亿元。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 477000 行业动态 私域神器每周合作精选No.133|电商APP产品寻海外流量;《萌宠猪猪世界》《金酷斗地主》寻海外发行;手游寻研发定制产品 本期精选的合作类型涵盖电商APP产品寻海外流量;《萌宠猪猪世界》《金酷斗地主》寻海外发行;手游寻研发定制产品等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 17 日 486000 聚焦经典国漫IP,这款古风经商游戏从7次国漫联动中尝到了什么甜头? 近年来,模拟经营类游戏可以说是“当红炸子鸡”。过去一直被低估的品类,在“宅经济”刺激下接连跑出几款产品后,从不温不火一跃成为当下最火热的赛道。其中有凭借画风出圈的《江南百景图》、直戳Z世代童年回忆的《摩尔庄园》等等。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 434000 行业动态 把iO游戏生命周期拉到5年的低调出海“隐形冠军” 《Fish Eater.io》4 年后月下载仍破百万,累计 4200 万安装,刷新 iO 类“短命”常态。 siyushenqi.com 2025 年 10 月 30 日 471000 TikTok Shop在美亏损将超5亿美元,烧钱仍在继续 掘金美国电商市场,TikTok Shop的路注定是充满挑战的。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 415000 行业动态 Netflix成立了一家手游工作室 Netflix正持续加大在游戏领域的投入。 siyushenqi.com 2025 年 8 月 24 日 462000 首日销量破10万,但《星之海》“重现经典”的味道有点“怪” 创作有点纠结,把控有所欠缺 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 432000 老牌大厂的心酸与不易:从“业内第三”到人才出逃,如今第4次冲刺上市 几天前,蜗牛传出了将于纳斯达克上市的消息,让这家被戏称为游戏圈“黄埔军校”的昔日大厂再次回归众人视野。从招股书披露的信息来看,蜗牛显然已经不再留恋过去,而是准备重新出发。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 428000 特别好评4W+,网易多人竞技网易《永劫无间》如何做出海? 在近日举行的北京国际游戏创新大会-网易分享专场活动中,网易雷火UX用户体验总监兼《永劫无间》主机版产品经理刘勇成作了“《永劫无间》的用户体验:助中国文化走向全球”主题分享。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 456000 行业动态 干了10年外贸,我悟了:别再做平台的“打工人”,你的客户在矩阵里 干了十年外贸,我发现光靠B2B平台就像在给别人打工。真正的出路是搭建自己的营销矩阵:用独立站做总部,社媒当主题咖啡馆,WhatsApp和Teams加速成交。这篇文章,我就跟你聊聊怎么让这些平台联动起来,把客户牢牢抓在自己手里。 siyushenqi.com 2026 年 3 月 6 日 382000 爆款难寻、大厂转型,休闲游戏变天了 超休闲正在被越来越多厂商放弃 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 479000 行业动态 第二届“AIM智擎奖”启动征集|聚焦“AI+千行百业”,共筑场景应用与商业增长新生态 2026年3月20日,由新一代品牌数智营销高端智库#执牛耳传媒 发起,#AI+营销百人会 作为超级大脑倾力支持的第二届“智擎奖” 正式启动征集。 转自扬帆出海 2026 年 3 月 27 日 222000 行业动态 一口气拿出24款新品,数量达三年之最,腾讯游戏在2025甩出“王炸”为哪般? 哪些产品有突围潜质? siyushenqi.com 2025 年 8 月 17 日 424000 股价突破700港元的腾讯,又收购《饥荒》开发商大部分股权 腾讯股价突破了700港元,市值超7万亿。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 467000 私域神器周报 No.15丨出海盛宴抢“鲜”看 互联网一周又有哪些大事 7月末,私域神器为大家整理了一周内出海行业中值得关注的新闻。本周,赤子城收购蓝城兄弟进入交割期,阿里、京东、顺丰开始比拼海外快递物流。此外私域神器还为大家总结了更多出海圈大事件,涉及手游、电商、泛娱乐等方面的重点事件。 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 • 行业动态 493000 行业动态 做跨境电商,应该运营哪些海外社媒平台?优先顺序怎么排? 随着跨境电商的火热,海外社交媒体已不再只是品牌展示窗口,更成为了引流、转化、复购的关键渠道。问题是,平台这么多,Instagram、TikTok、YouTube、Facebook、Pinterest……哪一个更适合跨境电商?运营的优先级又该如何排列? 本篇文章将结合平台特点与运营实践,为你梳理一套清晰的海外社媒运营优先级方案,帮助你把时间和资源用在最有效的位… siyushenqi.com 2025 年 8 月 13 日 下午10:07 534000 发表回复 请登录后评论...登录后才能评论 提交