规模性能双杀OpenAI,Meta语音达LLaMA级里程碑!开源MMS模型可识别1100+语言 siyushenqi.com • 2025 年 8 月 14 日 上午12:35 • 行业动态 • 阅读 466 在语音方面,Meta又达到了另一个LLaMA级的里程碑。今天,Meta推出了一个名为MMS的大规模多语言语音项目,它将彻底改变语音技术。 在语音方面,Meta又达到了另一个LLaMA级的里程碑。 今天,Meta推出了一个名为MMS的大规模多语言语音项目,它将彻底改变语音技术。 MMS支持1000多种语言,用圣经训练,错误率仅为Whisper数据集的一半。 只凭一个模型,Meta就建起了一座巴别塔。 并且,Meta选择将所有模型和代码开源,希望为保护世界语种的多样性做出贡献。 在此之前的模型可以覆盖大约100种语言,而这次,MMS直接把这个数字增加了10-40倍! 具体来说,Meta开放了1100多种语言的多语种语音识别/合成模型,以及4000多种语言的语音识别模型。 与OpenAI Whisper相比,多语言ASR模型支持11倍以上的语言,但在54种语言上的平均错误率还不到FLEURS的一半。 而且,将ASR扩展到如此多语言之后,只造成了非常小的性能下降。 论文地址:https://research.facebook.com/publications/scaling-speech-technology-to-1000-languages/ 保护消失语种, MMS把语音识别增加40倍 让机器具备识别和产生语音的能力,可以让更多人获得信息。 然而,为这些任务生成高质量的机器学习模型,就需要大量的标记数据,比如数千小时的音频以及转录——对于大多数语言来说,这种数据根本就不存在。 现有的语音识别模型,只涵盖了大约100种语言,在地球上的7000多种已知语言中,这只占很小一部分。令人担忧的是,在我们有生之年,这些语言中有一半都面临着消失的危险。 在Massively Multilingual Speech(MMS)项目中,研究者通过结合wav2vec 2.0(Meta在自监督学习方面的开创性工作)和一个新的数据集来克服了一些挑战。 这个数据集提供了超过1100种语言的标记数据,和近4000种语言的未标记数据。 通过跨语言训练,wav2vec 2.0学习了多种语言中使用的语音单元 其中一些语言,如Tatuyo语,只有几百个使用者,而数据集中的大多数语言,以前根本就不存在语音技术。 而结果显示,MMS模型的性能优于现有的模型,覆盖语言的数量是现有模型的10倍。 Meta一向专注于多语言工作:在文本上,Meta的NLLB项目将多语言翻译扩展到了200种语言,而MMS项目,则将语音技术扩展到更多语言。 MMS支持1,107种语言的语音转文本和文本转语音,支持4,000多种语言的识别 圣经解决语音数据集难题 收集数千种语言的音频数据并不是一件简单的事情,这也是Meta的研究人员面临的第一个挑战。 要知道,现有的最大语音数据集最多也只涵盖了100种语言。为了克服这个问题,研究人员转向了宗教文本,如《圣经》。 这类文本已经被翻译成许多不同的语言,被用于广泛的研究,还有各种公开的录音。 为此,Meta的研究者专门创建了一个超过1100种语言的《新约》阅读数据集,平均每种语言提供32小时的数据。 再加上其他各种宗教读物的无标签录音,研究者将可用的语言数量增加到了4000多种。 在MMS数据上训练的自动语音识别模型,在FLEURS基准测试中,对男性和女性说话者具有相似的错误率 这些数据通常是由男性朗读的,但模型对男性和女性的声音表现得同样好。 并且,虽然录音的内容是宗教性的,但这并没有使模型过度偏向于产生更多的宗教语言。 研究人员分析认为,这是因为他们使用了连接主义时间分类方法,与用于语音识别的大语言模型或序列对序列模型相比,它的约束性要大得多。 模型越大,越能打? 研究人员首先对数据进行了预处理,以提高数据的质量,并使其能被机器学习算法所利用。 为此,研究人员在100多种语言的现有数据上训练了一个对齐模型,并将这个模型与一个高效的强制对齐算法一起使用,而该算法可以处理大约20分钟或更长时间的录音。 研究人员多次重复了这个过程,并根据模型的准确性进行了最后的交叉验证过滤步骤,为的是去除潜在的错误对齐数据。 为了使其他研究人员能够创建新的语音数据集,研究人员将对齐算法添加到了PyTorch中并发布了对齐模型。 目前,每种语言都有32小时的数据,但这并不足以训练传统的监督式语音识别模型。 这也就是为什么研究人员在wav2vec 2.0上训练模型,这样可以大大减少训练一个模型所需的标注数据量。 具体来说,研究人员在超过1400种语言的约50万小时的语音数据上训练了自监督模型——这个量比过去多了近5倍。 然后针对特定的语音任务,如多语言语音识别或语言识别,研究人员再对模型进行微调即可。 为了更好地了解在大规模多语言语音数据上训练的模型的表现,研究人员在现有的基准数据集上对它们进行了评估。 研究人员使用一个1B参数的wav2vec 2.0模型对超过1100种语言进行多语言语音识别模型的训练。 随着语言数量的增加,性能确实有所下降,但这种下降比较轻微——从61种语言到1107种语言,字符错误率只增加了约0.4%,但语言覆盖率却增加了18倍以上。 将每个系统支持的语言数量从61增加到1,107 时,使用MMS数据训练的多语言识别系统的61种FLEURS语言的错误率。错误率越高表示性能越低 在与OpenAI的Whisper进行同类比较时,研究人员发现,在Massively Multilingual Speech数据上训练的模型有将近一半的单词错误率,但Massively Multilingual Speech涵盖的语言是Whisper的11倍。 从数据中我们可以看出,与目前最好的语音模型相比,Meta的模型表现的真的非常不错。 接下来,研究人员使用自己的以及现有的数据集,如FLEURS和CommonVoice,为超过4000种语言训练了一个语言识别(LID)模型,并在FLEURS LID任务上对其进行了评估。 事实证明,哪怕支持了将近40倍的语言数量,性能依然很能打。 在现有工作的VoxLingua-107基准上的语言识别准确性,支持的语言刚刚超过100种,而MMS则支持超过4000种语言 研究人员还为超过1100种语言建立了文本转语音的系统。 大规模多语种语音数据有一个局限性,那就是对于许多语言来说,它包含的不同说话者数量相对较少,通常只有一个说话者。 然而,这个特点对于建立文本到语音系统来说是一个优势,因此研究人员为超过1100种语言训练了类似系统。 结果表明,这些系统产生的语音质量还算不错。 未来属于单一模型 Meta的研究人员对这个结果感到很满意,但与所有新兴的AI技术一样,Meta目前的模型并不算完美。 比方说,语音到文本模型可能会误写选定的单词或短语,可能会导致冒犯性的或者不准确的输出结果。 同时,Meta认为,AI巨头的合作对于负责任的AI技术的发展至关重要。 世界上的许多语言都有消失的危险,而目前语音识别和语音生成技术的局限性只会加速这一趋势。 研究人员设想一个技术产生相反效果的世界,鼓励人们保持其语言的活力,因为他们可以通过说自己喜欢的语言来获取信息和使用技术。 大规模多语言语音项目是朝着这个方向迈出的重要一步。 在未来,研究人员希望进一步增加语言的覆盖面,支持更多的语言,甚至还会想办法搞定方言。要知道,方言对现有的语音技术来说可不简单。 Meta的最终目标是让人们能更容易地用自己喜欢的语言获取信息、使用设备。 最后,Meta的研究人员还设想了这样一个未来场景——靠一个单一的模型就可以解决所有语言的几个语音任务。 目前虽然Meta为语音识别、语音合成和语言识别训练了单独的模型,但研究人员相信,在未来,只需一个模型就能完成所有这些任务,甚至不止。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/35257.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 微软吹响AI集结号:全面打通ChatGPT携手冲击谷歌 上一篇 2025 年 8 月 14 日 上午12:34 ChatGPT运营薪资已过万!再不学要被抛弃了 下一篇 2025 年 8 月 14 日 上午12:35 相关推荐 赚了10个亿,分红10个亿!《羊了个羊》背后公司大手笔,实控人拿走3亿,公司股价三个月跌去38% 10月26日,吉比特(603444)发布公告,前三季度净利润10.12亿元,同比下降16.07%,拟10派140元,合计拟派发现金红利10.06亿元。而就在10月10日,吉比特称间接持有《羊了个羊》研发商20%的股权。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 486000 武侠游戏必将有一场“神仙大战” 虽然市面上一直有着新的武侠游戏出现,但不得不承认,前段时间的武侠手游确实遇冷了。在相当长一段时间里不仅少有大制作的武侠手游上线,就连一些“老牌”武侠MMO也随着时间的流逝,不可避免地出现了下行的趋势。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 465000 行业动态 利润从1到负1?Temu向卖家收取佣金 风波不断!Temu全新卖家佣金费用出炉,亚马逊新封号原因来袭 siyushenqi.com 2025 年 8 月 12 日 503000 行业动态 Supercell CEO首谈关闭《爆裂小队》,透露新游已开启测试招募 Supercell首次由运营团队主导、主动砍掉已上线产品——《爆裂小队》。 siyushenqi.com 2025 年 11 月 4 日 459000 行业动态 1分钟诞生一个新GPT!3天内定制GPT大爆发,理想型男友、科研利器全网刷屏 短短3天,全球迎来了GPT应用大爆发,时代爆款已现雏形。 siyushenqi.com 2025 年 8 月 13 日 400000 行业动态 Z世代渴望掌握社交权力?2023全球社交媒体六大趋势 截至2022年,全球社交媒体的使用人数已达47.4亿 siyushenqi.com 2025 年 8 月 24 日 454000 行业动态 一周要闻NO.181丨苹果同意在巴西开放第三方应用商店;《天堂》研发商收购越南休闲团队;欧盟小额包裹“免税时代”终结倒计时 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 12 月 29 日 329000 行业动态 2024年6月全球移动游戏市场快报 2024年6月,腾讯旗下国民级MOBA游戏《王者荣耀》跻身全球手游下载量增长榜第二名。这款游戏最初于2015年在中国推出,在过去七年中一直稳居中国iOS手游畅销榜榜首。从全球范围来看,2019年至2023年间,凭借在中国iOS市场的收入,该游戏位列全球iOS和Google Play双平台总收入榜单第一名,成绩斐然。 siyushenqi.com 2025 年 8 月 18 日 463000 行业动态 AI+制造业才是王炸 感觉中国厂商快要攻占柏林了。 siyushenqi.com 2025 年 8 月 13 日 418000 与你的日常,就是奇迹!青春战术剧情RPG手游《蔚蓝档案》今日正式公测 青春战术剧情RPG手游《蔚蓝档案》于今日(8月3日)正式在iOS与安卓平台上线 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 548000 行业动态 全球第5家千亿独角兽公司即将诞生 Databricks 正进行超 10 亿美元 K 轮融资,估值突破 1000 亿美元,较 8 个月前 620 亿美元上涨逾 60%,跻身 SpaceX、OpenAI、字节跳动等“千亿级未上市独角兽”俱乐部。 siyushenqi.com 2025 年 8 月 26 日 491000 行业动态 美欧电商增7%:中国跨境商家借势低价与品质双赢 报告详细揭示了在接下来的2024年前四个月,美国的电商市场正经历着蓬勃的发展态势,线上消费总额飙升至3316亿美元,同比增长显著,达到7%。据预测,至2024年上半年,这一趋势将延续,美国网民的在线消费有望冲破5000亿美元的关卡,同比增长6.8%。 siyushenqi.com 2025 年 8 月 12 日 486000 行业动态 叠纸旗舰游戏重新开服,到底做对了什么 新地图“伊赞之土”把美术优势从服装延伸到场景,风格化部落+碎片化叙事,让地图可逛、可读、可互动,首次实现“活”的开放世界。 siyushenqi.com 2025 年 11 月 28 日 327000 行业动态 苹果开源视觉模型界的“瑞士军刀”,能执行数十种任务 苹果和瑞士洛桑联邦理工学院的研究人员联合开源了大规模多模态视觉模型——4M-21。 siyushenqi.com 2025 年 8 月 13 日 384000 行业动态 马云、刘强东、美团王兴,集体出海 国内流量见顶,美团、京东、阿里三大平台集体把“内卷”能量导向海外,开辟增量战场。 siyushenqi.com 2025 年 8 月 26 日 487000 行业动态 中国AI+营销年度实力平台TOP 10 出炉|智擎奖(2025-2026) 中国AI+营销年度实力平台TOP 10 出炉。 siyushenqi.com 2026 年 2 月 3 日 763000 和SHEIN一同上榜,成立3年销量超1亿的独立站有点来头 realme,因为它仅成立3年就在全球累计销售超一亿部的智能手机,被称之为“全球增长最快的手机品牌”、“行业黑马”、“全球第七大智能手机品牌”。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 472000 腾讯Q3手游营收391.73亿元,同比增速连续三季度超60% 今天(11月12日),腾讯控股公布了2020年Q3财报。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 500000 小众科技品牌跑出黑马 融资千万的Nothing成为极客新宠 近日, Nothing宣布完成新一轮9600万美元融资。Phone(2)发售日倒计时4天,Nothing能否再次点燃极客们的热情,向自己的目标更进一步? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 678000 行业动态 越南大力支持电商发展,卖家出海迎来重大利好 推动电子商务市场持续健康成长已经是大势所趋。 siyushenqi.com 2025 年 8 月 12 日 472000 行业动态 跨界破圈,赛制创新,《三国志·战略版》千盟邀请赛玩得有点大 两周年之际,《三国志·战略版》将在9月举办“霸业之巅”千盟邀请赛,主打“首次亮相跨区段对决”“三百万赛事奖金”“围观赛事瓜分十亿金铢”。 siyushenqi.com 2025 年 8 月 25 日 446000 行业动态 孤独经济爆发 ,亚马逊、Chewy宠物大卖半年入10亿 今年上半年,主营宠物产品的杭州天元宠物的营收突破了10亿元,股东净利润达到3056万元。 siyushenqi.com 2025 年 8 月 12 日 532000 行业动态 国产乙游怎么就打起来了? 国产乙女游戏开始进入新阶段了。 siyushenqi.com 2025 年 8 月 18 日 446000 《最强蜗牛》拿下了艾菲奖,游戏加上音乐原来还能这样玩 作为去年营销打法以及市场成绩都让人眼前一亮的产品,《最强蜗牛》此次得奖并不意外,而且这次得奖的主要原因正是游戏的营销打法。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 429000 行业动态 旭科翻译、V5pay 确认入驻PAGC 2025丨第五届全球产品与增长展会! 旭科翻译、V5pay 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 481000 行业动态 14人小团队融资2亿+,这些休闲游戏厂商被资本争抢 过去一年,海外休闲游戏市场呈现火热态势,合成+、三消+、休闲棋牌等品类收入增长显著,原本以IAA为主的休闲玩法如3D堆叠、Sort(整理、排序)品类也在IAP上取得突破。 siyushenqi.com 2025 年 8 月 17 日 471000 行业动态 一周要闻NO.193丨Sora将终止服务;Epic裁员四分之一《堡垒之夜》成主因;Meta暂缓在欧盟推出新款智能眼镜;拼多多新拼姆是尊什么神? 一起看看这周有哪些出海圈值得关注的大事记吧! 转自扬帆出海 2026 年 3 月 31 日 254000 行业动态 狂卷“半托管”,出海四小龙都坐不住了 新一轮商家争夺战。 siyushenqi.com 2025 年 8 月 12 日 406000 行业动态 网易代理的“头号”产品宣布停运:才上线不到半年 拿到版号仅7个月、公测不足半年,《头号追击》即宣布2026年2月26日关服,12月17日同步关闭下载、充值与新注册。 siyushenqi.com 2025 年 12 月 19 日 316000 行业动态 前字节AI大将加入任CEO,这家清华系创企加速商业化 原字节跳动AI大将、火山引擎高管骆怡航于2025年3月加入生数科技,担任CEO,负责公司研发、产品、商业化及团队管理。 siyushenqi.com 2025 年 8 月 13 日 437000 发表回复 请登录后评论...登录后才能评论 提交