阿里开源多语言大模型,支持全球90%人口 siyushenqi.com • 2025 年 8 月 13 日 下午9:58 • 行业动态 • 阅读 449 现有开源多语言大模型大多集中在资源丰富的语言上,而像印地语、孟加拉语和乌尔都语等使用人数众多但资源匮乏的语言鲜有关注。为解决这一问题,阿里巴巴开源了多语言大模型Babel,支持25种主流语言,覆盖全球90%以上人口。 摘要 Babel提供了9B和83B两个版本。9B版本专为高效的多语言大模型推理和微调设计,适合研究和本地部署;83B版本性能更好,但消耗资源更多。 传统大模型提升性能通常采用持续预训练方法,但难以突破性能上限。Babel采用层扩展技术,通过在模型后半部分插入与原模型结构一致的新层来增加参数数量,提升性能。实验显示,直接复制原始参数而不引入噪声的初始化方法在性能上表现最佳。 采用两阶段预训练策略:第一阶段是恢复阶段,使用大规模多样化语料库恢复模型在扩展过程中损失的性能,并强调语料库的平衡性;第二阶段是持续训练阶段,增加低资源语言比例和教材占比,提升模型的多语言能力,尤其是低资源语言。 在MMMLU、M3Exam、MGSM、Flores-200等主流基准测试中,Babel-9B在所有基准测试中的平均得分为63.4,超过了其他竞争对手,如Gemma2-9B和Qwen2.5-7B,在XCOPA、MGSM、XNLI和Flores-200等任务中均取得最高分,显示出在多语言推理、理解和翻译方面的强大能力。 现有的大模型大多集中在资源丰富的语言上,例如,英语、法语、阿拉伯语等,而像印地语、孟加拉语和乌尔都语这样使用人数众多,但资源匮乏的语言却鲜有关注。 所以,阿里巴巴开源了多语言大模型Babel,支持豪萨语、波斯语、印地语、西班牙语、阿拉伯语、孟加拉语、葡萄牙语、乌尔都语、印尼语、斯瓦希里语等25种主流语言,覆盖全球90%以上的人口。 开源地址:https://github.com/babel-llm/babel-llm 笑脸:https://huggingface.co/Tower-Babel Babel一共提供了9B和83B两个版本,9B专为高效的多语言大模型推理和微调设计,适合研究和本地部署;而83B性能更好,但消耗的资源也更多。 Babel的创新之一是其独特的层扩展技术。传统的大模型在提升性能时,通常采用持续预训练的方法,在现有模型的基础上不断增加训练数据量或调整训练策略。但这种方法往往难以突破模型的性能上限,尤其是在面对多语言任务时,模型的复杂性和多样性对性能提出了更高的要求。 为了解决这一难题,Babel采用了层扩展技术,通过在模型中插入额外的层来增加参数数量从而提升模型的性能。 层扩展技术的核心在于如何在不破坏现有模型结构和性能的前提下,增加模型的深度和复杂性。研究人员在实验中发现,模型的中间层和后层对编辑较为不敏感,因此选择在模型的后半部分插入新的层。这些新层与原模型的结构完全一致,不会影响模型的关键组件,如注意力头、隐藏嵌入或嵌入层等。 研究人员还探索了多种不同的设置,包括新层的插入位置和初始化方法。例如,尝试了在原有层之间插入新层或直接在模型末尾追加新层,并对比了不同的初始化策略,如复制原始参数、引入高斯噪声或直接初始化为零等。 实验结果显示,直接复制原始参数而不引入噪声的方法在性能上表现最佳,因为这种方式能够最大程度地保留原始模型的特征表示。 预训练方面,Babel采用了两阶段预训练策略:第一阶段是恢复阶段,目标是恢复模型在扩展过程中可能损失的性能。由于层扩展技术会对模型的参数协作产生一定的干扰,因此在这一阶段,研究人员使用了一个包含所有支持语言的大规模多样化语料库进行训练。 这种语料库的设计旨在帮助模型重新学习不同语言之间的关系,并恢复其在原始模型基础上的性能。研究人员特别强调了语料库的平衡性,尽可能地为每种语言分配相等的训练数据。然而,由于某些语言的语料库资源有限,实现完美的平衡并非易事。因此,采用了英语和中文的高质量预训练数据集(如RedPajama和YAYI 2)作为补充,以帮助模型更快地恢复性能。 第二阶段是持续训练阶段。在恢复了模型的基本性能后,将重点转向提升模型的多语言能力,尤其是那些低资源语言。在预训练语料库中增加了低资源语言的比例,并提高了教材在训练语料库中的占比。 这种策略的依据是,教材通常包含更为系统和结构化的知识,能够帮助模型更好地学习和理解不同语言的语法、词汇和语义特征。通过这种方式,Babel不仅提升了对低资源语言的支持,还增强了其在多语言任务中的整体表现。 为了验证Babel模型的性能,研究人员在MMMLU、M3Exam、MGSM、Flores-200等主流基准测试进行了评估。结果显示,Babel-9B在所有基准测试中的平均得分为63.4,超过了其他竞争对手,如Gemma2-9B和Qwen2.5-7B。尤其是在XCOPA、MGSM、XNLI和Flores-200等任务中,Babel-9B均取得了最高分,显示出在多语言推理、理解和翻译方面的强大能力。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32994.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 城市AI之争,谁能称王? 上一篇 2025 年 8 月 13 日 下午9:58 DeepSeek开源新版V3 下一篇 2025 年 8 月 13 日 下午9:58 相关推荐 行业动态 海外狂揽2200万美元的“卡皮巴拉”,杀回中国区iOS首日免费榜第一 Habby发行的《Capybara Go!》(国服版《冒险者日记》)在中国区iOS免费榜登顶第一,成为继《弓箭传说》和《Survivor!.io 弹壳特攻队》后的又一个爆款游戏。 siyushenqi.com 2025 年 8 月 17 日 486000 旺季攻略出炉!雨果网“备战跨境旺季”专题助你爆单 Prime Day时间敲定、黑五大促提前启动、双11玩法曝光,随之而来也将是跨境电商行业的“金九银十” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 309000 行业动态 AI辅助监测,电子医生让免费医疗国家的人都开始付费了 在家庭医生和免费医疗制度的国家,预约就医等待漫长,日常监测与AI手段则有效缓解了一定压力。 siyushenqi.com 2025 年 8 月 13 日 409000 我没想到,4款国产游戏一起杀进了美国免费Top5 在美国地区iOS免费榜Top5的产品中,竟有四款出自国内厂商之手,将头部基本“攻陷”。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 485000 聚焦程序化广告 zMaticoo携私域神器/PubMatic/哇哇鱼科技/纽扣科技齐聚探讨新生态下企业出海秘诀 数字化成为经济增长核心动力,全力推动中国企业驶入“大航海时代” siyushenqi.com 2025 年 8 月 14 日 • 行业动态 481000 KOKOLU 创始人璐安:曾用一双“丝绒鞋”踢开市场大门的她们 将如何用新概念环保领跑海外市场? 在9月9日的跨境电商分论坛中,KOKOLU 创始人 璐安受邀参会并进行了主题分享,以旗下产品为例,分享了如何根据用户新需求、市场新形势,打造企业的品牌辨识度。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 414000 重磅!跨境大卖致欧科技首发过会,2021年净利2.40亿元! 时隔一个月,继赛维时代首发过会后,又一家跨境电商大卖即将登陆创业板 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 448000 行业动态 单日爆售近万件!TikTok Shop美区黑五榜单(10.30-11.6)发布 本期(2023年10月30日—11月5日)TikTok Shop 美国站“品类周榜”及“店铺周榜"销量数据分析,帮助卖家及时了解 TikTok Shop 美国小店最新市场现状,掌握选品趋势。 siyushenqi.com 2025 年 8 月 12 日 441000 行业动态 1000万美金ARR,Voodoo CEO投资,12人小团队打造“社交版TikTok”爆火欧洲 用刷短视频的方式交友。 siyushenqi.com 2026 年 2 月 10 日 313000 2020年12月中国手游发行商全球收入排行榜 Sensor Tower商店情报平台显示,2020年12月中国手游发行商在全球 App Store 和 Google Play 的收入排名。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 500000 新游观察丨《星穹铁道》回合制引全球讨论 玩起JRPG情怀的米哈游能否再造爆款? 5.25日,《崩坏:星穹铁道》(下文简称《星穹铁道》)开启了第二次删档封测。作为崩坏系列粉丝兼老玩家,小编认为,《星穹铁道》以新的视角延续了《崩坏3》的精神核心——人类与命运间的共生和对抗,但其游戏玩法和故事却独立于崩坏系列的其他游戏。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 489000 行业动态 网易新射击手游《命运:崛起》海外上线,首周收入超千万 8月28日海外发布,当天冲上iOS全球游戏下载榜第3,双平台累计安装已破200万,但距1000万预注册仍远。 siyushenqi.com 2025 年 9 月 5 日 548000 行业动态 DHL旗下B2C海淘平台Eshop拓展至中东市场 由 Horizon FCB Dubai 推出了面向中东市场的 DHL Mena eSHOP 应用程序,让购物者只需轻点手指即可浏览和购买他们喜欢的美国品牌,它是如此快速和方便,就像真的在美国购物一样方便,并且支持整合多个订单为一个包裹。 siyushenqi.com 2025 年 8 月 13 日 482000 行业动态 一年赚60亿!这家华东大卖靠独立站引爆海外市场 国产家居「遨森」如何靠独立站引爆海外市场? siyushenqi.com 2025 年 8 月 12 日 495000 行业动态 看不懂的东南亚,理性更多还是赌性更大? 以TikTok电商为代表的,在东南亚发展速度极快的内容电商,到底在消费品牌当下的发展中扮演怎样的角色? siyushenqi.com 2025 年 8 月 6 日 387000 “睡眠"指环出货百万!Oura如何打造智能配件爆品? Oura怎样在智能配件市场上另辟蹊径?小众赛道上如何打造具有长期效应的爆款产品? siyushenqi.com 2025 年 8 月 13 日 • 行业动态 450000 行业动态 TikTok Shop巴西站点即将正式开放 TikTok Shop巴西站点将于2025年5月8日正式开放运营,这是继美国、墨西哥、欧洲多国之后,TikTok在社交电商领域的又一重要布局。巴西站点已于4月开启入驻,首批定向邀约本土卖家。 siyushenqi.com 2025 年 8 月 5 日 470000 行业动态 Shopee与Meta牵手,藏着彼此的“未了梦” Shopee缺站外流量、Meta缺履约闭环,双方用“联盟营销+直播工具”互换筹码,各补短板。 siyushenqi.com 2025 年 11 月 5 日 359000 行业动态 2025年9月成功出海的中国手游-《Whiteout Survival》与《Kingshot》再度包揽收入榜冠亚军 2025年9月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2025 年 10 月 11 日 444000 行业动态 恶魔逆袭灭杀勇者?放置手游《Monster Never Cry》输出另类价值观,更适合欧美自由文化,晋级北美谷歌游戏免费榜亚军 目前,《Monster Never Cry》在Google Play Store谷歌官方应用商店游戏免费榜名列亚军,累计下载突破10万人次。 siyushenqi.com 2025 年 8 月 18 日 477000 行业动态 人形机器人第一股,在深圳爆发 人形机器人即将能够从事体力劳动?近日,一则消息让人“浮想联翩”。 siyushenqi.com 2025 年 8 月 13 日 389000 行业动态 2026外贸生意趋势深度解析:区域化与数字化驱动增长机遇 2026年,全球外贸市场在挑战与机遇中迎来了转折点。区域化与数字化的推动重塑了供应链与贸易模式,带来了新的增长机会。中小企业在这波变革中应紧跟趋势,借助数字化平台突破传统贸易壁垒,开拓新兴市场。主要经济体的政策变化,以及供应链的区域化... siyushenqi.com 2026 年 3 月 7 日 349000 行业动态 多牛科技独家代理《全明星激斗》欧美及日本发行权 日前,多牛科技国际发布公告称,已获得中手游旗下重磅IP卡牌格斗游戏《SNK: All-Star Brawl》(中国地区《全明星激斗》)在欧美47国及日本的独家发行权。 siyushenqi.com 2025 年 8 月 18 日 430000 行业动态 政策即将生效!亚马逊与Temu、SHEIN低价斗法 解药还是毒药 siyushenqi.com 2025 年 8 月 12 日 478000 Temu放大招?大批亚马逊卖家或彻底没单 近日有媒体报道,Temu即将上线“砍一刀”功能。有跨境行业人士表示,欧美市场不适合拼多多采用国内流行的“砍一刀”手段,会存在“诱导营销”和“不正当竞争”的风险。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 495000 上线两年后,Epic商店赶上Steam了吗? 作为在PC游戏领域Steam的主要竞争对手之一,Epic Games Store(下文简称Epic商店)已经上线两年了。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 510000 行业动态 内购月收入超2000万美元,一场由移动游戏公司掀起的海外短剧潮 短剧不仅在国内发展如火如荼,在国际上同样成为了一门大生意。 siyushenqi.com 2025 年 8 月 17 日 484000 行业动态 Google谷歌企业邮箱及空间注册 Google谷歌企业邮箱及空间注册 siyushenqi.com 2025 年 8 月 3 日 434000 行业动态 巨人网络发布行业首个DeepSeek原生游戏玩法 巨人网络旗下游戏《太空杀》接入DeepSeek大模型,首创“内鬼挑战”玩法,开启灰度测试,未来将面向全量用户开放。这是首次将DeepSeek大模型能力深度应用于游戏玩法创新,以AI驱动核心玩法,重塑游戏的竞技和交互体验。 siyushenqi.com 2025 年 8 月 17 日 473000 PAGC 2025丨展会推荐官 DoinTV CTO 张岩、舵手互娱 创始人 苏超然、DDream & Role AI 创始人 王俊皓 邀您参与万人出海展会 PAGC 2025丨展会推荐官 DoinTV CTO 张岩、舵手互娱 创始人 苏超然、DDream & Role AI 创始人 王俊皓 邀您参与万人出海展会 siyushenqi.com 2025 年 8 月 17 日 • 行业动态 493000 发表回复 请登录后评论...登录后才能评论 提交