腾讯放大招,超Meta!史上参数最大,开源专家混合模型 siyushenqi.com • 2025 年 8 月 13 日 下午9:23 • 行业动态 • 阅读 443 腾讯宣布开源Hunyuan-Large,这是一个基于Transformer架构的专家混合(MoE)模型,拥有3890亿参数,520亿激活参数,并能处理长达256K的上下文。 摘要 Hunyuan-Large在多个评测集和任务中表现出色,超越了Meta的LLama3.1-405B模型,并在激活参数数量减少的情况下实现了3.2%的性能提升。 Hunyuan-Large采用了高效的MoE结构,包含共享专家和专用专家两种模式,并开发了新的回收路由策略和KV缓存压缩技术,以优化训练效率和稳定性。 Hunyuan-Large使用了7万亿token数据进行预训练,其中包括近1.5万亿的合成数据,并通过三阶段学习率调度(预热、衰减、退火)来优化训练过程。 在与市面上其他超大开源模型的综合评测中,Hunyuan-Large在多个测试中取得了优异的成绩,例如在CommonsenseQA、PIQA和WinoGrande测试中的准确率均高于其他模型。 开源大模型领域迎又来一位重磅玩家——腾讯。 腾讯一出手就是个超大模型,开源的Hunyuan-Large是目前市面上最大基于 Transformer架构的专家混合(MoE)模型。一共有3890 亿参数,其中激活参数为 520 亿,具备处理长达256K上下文能力。 根据腾讯公开测试数据显示,Hunyuan-Large不仅超过了社交巨头Meta开源的最新、最大模型LLama3.1 - 405B,并且在激活参数数量显著减少的情况下,实现了高达3.2%的性能提升。在数学、日常推理、文本生成等方面非常优秀。 开源地址:https://github.com/Tencent/Tencent-Hunyuan-Large huggingface:https://huggingface.co/tencent/Tencent-Hunyuan-Large 云开发平台:https://cloud.tencent.com/document/product/851/112032 Hunyuan-Large采用了高效的MoE结构,使用多个专家替换了Transformer中的原始前馈网络。在训练过程中,只有一小部分专家会被激活,这样的设计使得模型能够更加高效地进行训练和推理。 一共包含共享专家和专用专家两种模式,不仅能够捕捉所有token所需的共同知识,还能够动态学习特定领域的知识。同时Hunyuan-Large还开发了一种新的回收路由策略,用于处理在原始top-k路由过程中被丢弃的token。这种策略通过将这些token重新分配给未超过容量的其他专家,以优化训练效率和稳定性。 Hunyuan-Large还对KV缓存进行了创新,使用了压缩技术。在传统的Transformer架构中,每层都会维护一个用于存储先前计算出的键值对的缓存,这对于支持长序列输入非常必要。但随着序列长度的增长,这种缓存机制会导致巨大的内存开销。 而KV缓存压缩技术通过减少KV缓存的存储需求来降低内存占用,同时保持了模型对于长序列处理的能力,可以有效地减少键值对的存储空间,而不牺牲准确性或速度。即使面对非常长的文本输入,模型也能高效运行,不会因为内存限制而受到阻碍。 在专家特定的学习率缩放方面,Hunyuan-Large采用了AdamW作为优化器,并根据批量大小调整学习率。根据最新的研究,对于Adam风格的优化器,最佳学习率与批量大小之间的关系有了新的理解。Hunyuan-Large根据每个专家在单次迭代中处理的token数量不同,为不同专家分配了不同的学习率,以优化训练效率。 训练数据方面,Hunyuan-Large一共使用了7万亿token数据进行了预训练,其中包括近1.5万亿的高质量和多样化的合成数据。这些合成数据的生成过程涉及四个关键步骤:指令生成、指令演化、响应生成和响应过滤。 在指令生成阶段,利用高质量的数据源,如网页、问答数据、代码库、书籍等,配合多样化的指令生成提示,生成覆盖多个领域的多样化指令。在指令演化阶段,通过增强指令的清晰度和信息量、扩展低资源领域指令以及增加指令难度等手段,进一步提升指令的质量。 响应生成阶段则利用多个专业化模型为这些演化后的指令生成信息丰富、准确的答案。最后,在响应过滤阶段,通过批评模型和自一致性检查,确保合成的指令-响应对的质量,有效去除低质量或不一致的数据。 在Hunyuan-Large的训练过程中,学习率调度扮演了至关重要的作用,一共分为三个阶段:初始的预热阶段、随后的逐渐衰减阶段,以及最后的退火阶段。这种设计使得模型能够在初始阶段有效地探索解空间,避免过早收敛到次优的局部最小值。随着训练的进行,学习率的逐渐降低确保了模型能够向更优解收敛。 在预训练的最后5%阶段,Hunyuan-Large引入了退火阶段,将学习率降低到峰值的十分之一。这有助于模型细致地调整参数,实现更高的泛化能力,从而提升整体性能。在这个阶段,模型优先使用最高质量的数据集,这对于增强模型在退火阶段的性能至关重要。 在退火阶段之后,Hunyuan-Large还进行了长文本预训练,以增强其处理长文本的能力,逐渐增加token长度从32K增长至256K。Hunyuan-Large采用了RoPE来构建位置嵌入,并在256K预训练阶段将RoPE的基础频率扩展到10亿。 长文本预训练的数据主要来自书籍和代码等自然长文本数据,这些数据与正常长度的预训练数据混合,形成了长文本预训练语料库。 腾讯将Hunyuan-Large与LLama3.1-405B、LLama3.1-70B、Mixtral-8x22B和DeepSeek-V2市面上超大开源模型进行了综合评测。 结果显示,Hunyuan-Large皆取得了超强的性能表现,例如,在CommonsenseQA测试中,Hunyuan-Large 的准确率达到 92.9%,而 LLama3.1 - 70B 为 84.1%,LLama3.1 - 405B 为 85.8%。 在PIQA 测试中,Hunyuan-Large 的准确率为 88.3%,优于LLama3.1 - 405B的83.7%。在WinoGrande 测试中,Hunyuan-Large的准确率达到 88.7%,超过了LLama3.1 - 70B 的 85.3%和LLama3.1 - 405B的86.7%。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32660.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 ChatGPT已经慢了,这是国内AI搜索新高度,免费可用 上一篇 2025 年 8 月 13 日 下午9:23 阿里测试AI创作工具“Animode”,试水动漫智能创作 下一篇 2025 年 8 月 13 日 下午9:23 相关推荐 行业动态 路透社:字节跳动计划出售沐瞳科技,正在接洽潜在买家 字节跳动正在考虑出售沐瞳科技,并且已经与“潜在的买家”展开了接洽。 siyushenqi.com 2025 年 8 月 18 日 474000 行业动态 2026 年最新 iMessage 群发技术趋势与更新 iMessage群发技术不断发展,逐步适应更复杂的沟通需求。2026年,人工智能与自动化的结合成为群发领域的关键,平台跨设备兼容性提高,隐私保护也日益重要。技术进步不仅提升了功能,也推动了个性化和高效沟通的实现。 siyushenqi.com 2026 年 1 月 25 日 440000 行业动态 2023 年 9 月全球突破游戏排行 2023年9月颇为热闹,有引人注目的新游戏发布,PC 端游戏转移到移动端,以及体育迷推动相关游戏季节性增长。我们将以 4 周为周期,对月度资讯进行分析。 siyushenqi.com 2025 年 8 月 18 日 421000 行业动态 构建可扩展 AIGC 工作流的关键技术与工程难点 随着AIGC技术的迅猛发展,构建可扩展的工作流成为行业关注的焦点。如何在提升效率与质量的同时,确保技术架构具备灵活扩展性与高效资源调度能力,是当前面临的主要问题。关键技术包括自动化数据处理、模型训练优化以及分布式计算等,相关工程难点与... siyushenqi.com 2026 年 1 月 24 日 393000 行业动态 2023年2月全球热门移动游戏收入TOP10 来自中国iOS市场的收入占95%,海外市场收入占比为5%。 siyushenqi.com 2025 年 8 月 24 日 498000 行业动态 微软与Open AI关系再度降温 微软因OpenAI与亚马逊合作或起诉,AI领域竞争加剧,市值蒸发超万亿美元,内部重组应对挑战。 转自扬帆出海 2026 年 3 月 23 日 210000 TikTok开始测试新的视频模式,有什么亮点? TikTok将推“全屏视频模式” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 435000 行业动态 OpenAI大更新ChatGPT搜索,周搜索量10亿次 OpenAI于4月29日凌晨4点对ChatGPT的搜索功能进行了重大更新,尤其是对网购搜索进行了优化。用户可以直接在ChatGPT中查看产品的详情、价格、用户评价,并且能够直接跳转到购买链接。 siyushenqi.com 2025 年 8 月 13 日 440000 data.ai 5 月中国非游戏厂商及应用出海收入 30 强:视频编辑 App FacePlay 上升 43 位,收入环比增长 278% 2023年5月中国非游戏厂商及应用出海收入30强榜单出炉 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 496000 一次史无前例的粉丝狂欢,仙剑26周年“火力全开” “廿六与卿期会,酌诗酒记此年华。仗仙剑驰骋梦中江湖,集奇侠书写今朝传奇。” siyushenqi.com 2025 年 8 月 25 日 • 行业动态 480000 行业动态 海外潜客转化路径设计与线索孵化模型实战解析 优化客户转化路径 线索孵化模型 数据驱动决策 提升客户互动体验 分析市场趋势 优化客户转化路径 海外潜客转化的首要任务是优化客户转化路径,帮助潜在客户顺畅地完成从初步接触到最终成交的全过程。传统的转化路径往往存在多重障碍,客户体验不佳,导致转化率低下。为了优化这一路径,企业需要根据客户的购买决策过程设计更加灵活且个性化的路径,以增加潜在客户的参与感和信任度。… siyushenqi.com 2025 年 8 月 13 日 下午9:23 443000 行业动态 投入数亿美元的大模型“对齐”,脆弱得像饺子皮 AI对齐是确保人工智能系统符合人类价值观、拒绝有害行为的关键技术手段。然而,最新研究显示,即使是经过对齐的AI系统也可能极其脆弱,仅通过微小的训练调整就能引发全面的道德崩溃和价值观扭曲,这引发了对AI安全性的深刻担忧。 siyushenqi.com 2025 年 8 月 13 日 443000 行业动态 跨境电商高歌猛进,这个中亚小国居然诞生了市值超千亿的“小阿里” 市值180亿美元,中亚“小阿里”吸金启示录 siyushenqi.com 2025 年 8 月 12 日 513000 行业动态 玩家氪金未缴税,《黑道风云》发行商遭东京国税局追缴18亿日元 中国香港公司「YOTTA GAMES LIMITED」因未缴纳日本用户支付的游戏内购消费税,接受东京国税局的调查,涉及金额约15亿日元。 siyushenqi.com 2025 年 8 月 17 日 412000 一周年重返畅销Top6,这款主打“新回合”的MMO后劲这么强? “回合制玩法到底有什么意思?”“回合制玩法已经过时了吗?” siyushenqi.com 2025 年 8 月 24 日 • 行业动态 482000 干货整理 | 社交出海合规增长大会圆满落幕 助力出海企业突破增长瓶颈 社交出海路上难免趟过大大小小的坑,其中,合规就是盘桓在出海企业心中的一根刺。受制于海外各个国家和地区监管体系差异,开发者难以快速洞悉潜藏的合规风险问题。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 419000 行业动态 海外双11开卖,200+品牌速卖通销售额双倍反超亚马逊 国内双11收官,海外双11刚刚燃起战火。 11月11日,阿里速卖通海外双11全球开卖。据内部人士透露,速卖通双11首日,至少有200个品牌达成超亚马逊日均2倍的销售额,部分行业头部品牌如音频设备EDIFIER、行车记录仪70mai、骑行码表iGPSPORT更是超亚马逊6-10倍爆发。 速卖通正在用激进的品牌策略和亚马逊争夺中高端品牌市场。今年9月,速卖通启动… siyushenqi.com 2025 年 8 月 13 日 下午9:23 443000 盟玩科技、星辉游戏、易娱网络确认参加第三届全球产品与增长大会-游戏研发发行对接会 盟玩科技、星辉游戏、易娱网络确认参加第三届全球产品与增长大会-游戏研发发行对接会 siyushenqi.com 2025 年 8 月 23 日 • 行业动态 525000 行业动态 私域神器每周合作精选 No.88|游戏研发公司寻求发行合作;短剧平台,寻求国内爆款短剧出海 本期精选的合作类型涵盖游戏研发公司寻求发行合作;短剧平台,寻求国内爆款短剧出海。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 415000 500人团队专注MOBA竞技,但这家成都厂商又做了款二次元 品类扩张难吗? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 568000 行业动态 短剧“狂飙”按下暂停键?广电出手整治、快手发布违规短剧 中国网络视听节目服务协会刊文称,广电总局将再次开展为期1个月的网络微短剧专项整治工作。 siyushenqi.com 2025 年 8 月 18 日 546000 登顶海外28国iOS免费榜,这款游戏国内正式上线了! 七年的探索与蛰伏后,《我的安吉拉2》如期“爆红” siyushenqi.com 2025 年 8 月 25 日 • 行业动态 454000 行业动态 京东拒绝内卷 过去一段时间,淘宝、抖音等国内主要电商平台皆在弱化低价概念,于是,大众关注焦点落在了昔日大力推行低价的京东身上:京东是否还会继续推行低价策略? siyushenqi.com 2025 年 8 月 5 日 438000 行业动态 WhatsApp群发功能全面解析与最佳实践指南 WhatsApp 群发功能提供了便捷的消息传递方式,适用于企业与个人用户,尤其在营销和通知中有显著优势。通过广播列表和 WhatsApp Business API,用户可以根据需求进行高效且合规的沟通。本内容介绍了两者的区别及应用场景... siyushenqi.com 2026 年 1 月 24 日 360000 行业动态 私域神器每周合作精选No.177|休闲射击游戏寻海外发行;短剧APP寻求合作;寻找欧美支付通道;私域神器双11会员狂欢节开启 本期精选的合作类型涵盖休闲射击游戏寻海外发行;短剧APP寻求合作;寻找欧美支付通道;私域神器双11会员狂欢节开启等。接下来就一起看看吧~ siyushenqi.com 2025 年 10 月 30 日 396000 行业动态 2022年最值得关注的全球游戏市场趋势 2021年,游戏产业经历了一段前所未有的快速增长,放眼未来,游戏行业的前景依旧充满希望。从合并、收购,再到区块链游戏和元宇宙,过去的一年可谓是风起云涌,新的发展趋势层出不穷。我们认为,这其中许多趋势将在2022年延续,发展速度相比去年也会进一步提升。 siyushenqi.com 2025 年 8 月 24 日 410000 先买后付市场规模已超千亿美元,消费潜力持续释放 先买后付受多国消费者热捧,市场飞速发展 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 498000 年入10亿元,影石Insta360“硬核”抢占海外全景相机市场 “国货之光”影石Insta360到底是如何征服海外市场消费者的呢? siyushenqi.com 2025 年 8 月 12 日 • 行业动态 538000 游戏市场一块被忽视的拼图——俄语区 纵观全球游戏市场,中国厂商在海外不断攻城略地。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 448000 行业动态 MirrorAI CEO 郑斯元 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! MirrorAI CEO 郑斯元 确认担任 GICC2025丨第六届全球互联网产业CEO大会主峰会圆桌嘉宾! siyushenqi.com 2025 年 9 月 22 日 456000 发表回复 请登录后评论...登录后才能评论 提交