腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o siyushenqi.com • 2025 年 8 月 13 日 下午9:12 • 行业动态 • 阅读 424 鹅厂新一代旗舰大模型混元Turbo技术报告首次曝光。模型采用全新分层异构的MoE架构,总参数达万亿级别,性能仅次于GPT-4o,位列国内第一梯队。 摘要 腾讯混元推出新一代旗舰大模型——混元Turbo,采用分层异构MoE结构,保持万亿级参数规模。 混元Turbo在多个业界公认的benchmark指标上处于国内领先地位,并与国际头部模型如GPT-4o相比也位于第一梯队。 混元Turbo采用Scaling Law原则,通过大量数据和参数提升模型效果,同时优化算法和训练推理框架,提升效率和降低成本。 混元Turbo支持AI搜索联网插件,整合腾讯内容生态和全网搜索能力,提供深度问答服务。 近期,腾讯混元推出新一代旗舰大模型——混元Turbo。 作为国内率先采用MoE结构大模型的公司,腾讯继续在这一技术路线上进行技术创新。 相较上一代混元Pro的同构MoE大模型结构,混元Turbo采用了全新的分层异构MoE结构,在参数总规模上依然保持万亿级。 公开信息显示,当前混元Turbo模型在业界公认的benchmark指标上处于国内行业领先地位,与国外头部模型如GPT-4o等相比也处于第一梯队。 另外,在刚刚发布的国内第三方权威评测机构评测中,混元Turbo模型位列国内第一。 混元Turbo是如何做到如此快速的进步? 背后技术细节首公开 我们拿到了混元Turbo的技术解读,从Pretrain、Postrain和专项能力突破几个角度,深入展示了模型升级的秘密。 首先,业界目前普遍公认,大模型Pretrain成功的关键秘诀之一是Scaling Law。 可以简单理解为,训练数据量越大,模型效果越好;参数量越大,模型效果越好。 其中后者意味着,如果想要模型具备更高的效果天花板,就需要设计较高参数量的大模型,但大参数量设计也意味着较高的部署成本和较低的训练推理性能。 为此,混元Turbo采用了全新的异构MoE结构。 通过较多的专家数和较小激活量设计,在模型整体参数量依然保持万亿级规模前提下,通过整体算法升级和训练推理框架加速的端对端优化,模型效果相比上代混元Pro有较大提升。 与此同时,模型训练推理效率也有超1倍的提升,并最终带来了50%的推理部署成本下降,以及20%推理时延降低。 其次,在Postrain阶段,腾讯混元Turbo自研了混元CriticModel和RewardModel,用于构建自提升pipeline,并在RLHF阶段全面采用了离线数据和在线采样结合的强化学习策略。 相对传统PPO及DPO,其整体可控性更好,效果上限更高。 除了在通用能力方面持续优化外,针对当前业界大模型普遍存在的文科能力「重而不强」,理科能力普遍偏弱的现状,本次混元Turbo大模型也专项强化了高质量文本创作、数学、逻辑推理等典型大模型文理科能力。 文本创作、数学、逻辑推理能力全面提升 1. 专项能力-高质量文本创作 当前大模型普遍存在的一般文本创作尚可,但专业化写作机器味浓、不够信雅达,字数控制等指令跟随能力不足等问题。 腾讯混元Turbo模型做了大量高质量文本创作专项优化。 以中、高考中文写作为例,腾讯混元团队引入专家标注团队,构建高质量写作评估模型,同时,构建创作指令约束体系,提升复杂指令跟随能力。 通过以上优化,高考作文写作这一项能力上,混元Turbo在专家标注团队中自评达一类卷水平,在刚刚过去的24年高考中,混元Turbo获得第三方大模型高考作文写作评测第一名。 2. 专项能力-数学 如何大幅提升模型的数学能力是一项非常有挑战性的任务。腾讯混元采用了以下几种技术方案来提升模型效果。 提升数据量:针对已有题库模拟大量数学题用于模型的增训。对于一些比较难的题目,也会采用MCTS等技术来提高模型的做题能力。 强化学习:为了进一步提升模型能力,采用了强化学习技术,包括DPO/PPO等技术。训练了一个基于过程的reward模型对结果进行打分。 最终,混元Turbo在数学推理能力上有了较大提升,在内外部多种评测集上达到了业界先进水平。 3. 专项能力-逻辑推理 推理的第一大难点在于推理问题的多样性,往往用户的问题千奇百怪,要在PostTrain阶段比较好的解决这个难点,必须要提升SFT数据中推理问题的广度和质量。 预训练中的推理问题非常丰富,但是结构化不足,往往一个比较好的问题隐藏在某一个文档的最后。 为了解决这个问题,腾讯基于腾讯混元训练了一个问题抽取模型(Problem Extraction Model),抽取出千万级量级的推理类指令。 另外,通过公开渠道获取全网偏推理的问题,大幅补充了SFT数据中推理问题的多样性。 推理能力的第二个难点是,复杂问题的答案如何构建。 对此,腾讯训练一个critique模型对推理类训练数据进行打分,然后迭代更新答案,直到构建推理过程和结论完全正确的训练。 最终,推理数据质量得分提升10%。 经过上述优化,混元Turbo较以往的版本在内部推理评测中总体提升9%,在一些较为难的子类上例如因果、符号推理等上都取得了明显进步。 4. 联网插件-AI搜索 作为腾讯混元新一代旗舰大模型,混元Turbo除支持各类大模型能力外,也支持AI搜索联网插件。 通过整合腾讯优质的内容生态(如微信公众号、视频号等)和全网搜索能力,同时基于Planner+Action Agent架构,混元Turbo AI搜索基于混元通用大模型底座,使用丰富的搜索数据进行多任务精调,得到更懂搜索、具备精准阅读理解能力的SearchGPT,用于AI深度问答。 目前通过AI搜索的强大加持,混元Pro具备强大的时新、深度内容获取和AI问答能力。 自研工程平台的牢固支撑 惊艳的模型效果,离不开底层算法和平台的支持。 腾讯混元大模型全面建立在腾讯全面自研的Angel机器学习平台和强大的算力基础设施之上。 面对万亿级MoE模型参数大显存需求高,All2all通信效率低,训练性能低等挑战,腾讯混元训练框架AngelPTM通过引入大BatchSize训练、FP8低精度训练、梯度通信/MoE通信计算、MOE算子融合等优化策略,使得训练性能提升108%,成本下降70%。 针对大模型大窗口能力已成行业必备趋势,AngelPTM采用精度无损的attention均衡通信加速算法,实现了高达10M长窗口的训练能力。 对于混元Turbo这样的万亿级超大MoE大模型,推理成本和速度是很大的挑战。 为此,混元推理加速框架AngelHCF支持FP8量化压缩,定制了一系列算子加速FNN模块的推理性能,使得推理性能整体提升1倍,成本下降50%; 另外,在强化学习阶段,通过在AngelPTM中集成AngelHCF的方式加速sampling采样性能,整体吞吐提升40%以上。 此前,中国电子学会2023科学技术奖评选,腾讯《面向大规模数据的Angel机器学习平台关键技术及应用》获科技进步一等奖。 元宝APP,可以上手了 目前,腾讯混元Turbo模型除已经作为新一代旗舰大模型,在腾讯云官网API正式上架。 此外,它还在腾讯元宝APP中面向所有C端用户开放(点击阅读原文体验),速度更快、体验更好,同时提供AI搜索、AI阅读、AI写作和AI作画等核心功能。 基于混元Turbo模型强大的通用内容理解和推理能力,以及与腾讯生态体系、如微信搜一搜、搜狗搜索、微信公众号、视频号、腾讯新闻和腾讯金融等内容平台全面连接,为用户提供丰富、权威的生态优质内容及全网信息。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32537.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 蚂蚁的AI故事,讲到哪儿了? 上一篇 2025 年 8 月 13 日 下午9:11 OpenAI发布史上最强模型-o1,推理能力超人类博士! 下一篇 2025 年 8 月 13 日 下午9:12 相关推荐 厂家月出数万单、4天吸粉1.2万,“鲨鱼毯”在TikTok卖疯了! 搜罗 TikTok 最新趋势爆品,近段时间,外网似乎正掀起一股“鲨鱼热”。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 400000 行业动态 【干货】TikTok海外涨粉技巧:让产品视频轻松上热门 在跨境出海的大趋势下,TikTok已成为品牌打造声量、产品出圈、实现销量转化的高地。但想要真正吃到平台红利,“涨粉”依然是绕不开的基础。 那么,TikTok涨粉到底快不快?其实,只要掌握正确的方法和内容思维,不仅能快,还能稳。下面就为大家拆解5个实战技巧,助你打造高互动、高留存、高转化的TikTok账号。 ✅ 1. 内容真实比“包装精美”更重要 TikTok… siyushenqi.com 2025 年 8 月 13 日 下午9:12 424000 行业动态 都想成为加拿大鹅“平替”,却只有北面做到了 户外运动品牌走出一条不同寻常路。 siyushenqi.com 2025 年 8 月 13 日 417000 朝夕光年用一款目前很难找到对标竞品的自研新作,向硬核ACT领域发起了挑战 《晶核》首测表现出的产品成色如何?其又有无可能接棒《航海王热血航线》,成为朝夕光年发行矩阵中的又一爆款呢? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 462000 行业动态 中国第三方支付行业七杰 中国第三方支付行业七杰。 siyushenqi.com 2025 年 8 月 3 日 469000 行业动态 苹果AI上线,ChatGPT免费用!首款M4 Mac诞生 苹果宣布Apple Intelligence功能已经通过iOS 18.1、iPadOS 18.1和macOS Sequoia 15.1的免费软件更新在iPhone、iPad和Mac上推出。这标志着苹果在人工智能领域的进一步发展,旨在通过自然语言处理和图像理解来简化和加速日常任务,同时加强隐私保护。 siyushenqi.com 2025 年 8 月 13 日 491000 练习时长3年半后,鹰角在《明日方舟》里做了一款“新游戏” 这次,玩的有点大 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 455000 《黑色沙漠》手游能否缔造端游辉煌 随着手机移动端用户渐长,将知名IP移植到手游成为了一项吸引玩家的策略。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 450000 《明日方舟》被抄袭?还上了B站热搜 堪称1:1复制 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 510000 上周项目刚上线,这周员工就被「毕业」了? 今日(6月23日),有认证为4399员工的网友在社交平台上称,上周公司项目在海外市场上线,这周就被通知裁员,并要求在这周办理好离职手续以及工作交接。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 441000 行业动态 Temu欧洲狂飙的100天:北美业务断崖下跌,他们却找到更好的生意? 高额关税迫使大量美区卖家仓皇转场,Temu顺势把欧洲从“补充市场”升格为“核心重镇”,预计2025年欧区GMV占比将升至35-40%。 siyushenqi.com 2025 年 8 月 26 日 502000 行业动态 真金游戏真要“凉凉”了?印度计划全面禁止,博彩、棋牌、电竞类真金玩法均受限! 从加税、ban应用到集体禁止,印度真金游戏“老大难”。 siyushenqi.com 2025 年 8 月 26 日 503000 以风格化“改编”老玩法 简单的放置经营也能做到吸金百万 年初,一款猫咪题材的模拟经营游戏《Cat Snack Bar(猫咪小吃店)》在海外大部分国家及地区上线。上线时间仅半年,下载量便已突破了千万。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 460000 Animoca收购Grease Monkey,将重点协同NFT产品 近日,据VentureBeat官网报道,香港移动游戏开发商Animoca Brands宣布收购了澳大利亚赛车游戏工作室Grease Monkey Games,目前收购金额暂未透露。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 413000 今年腾讯游戏年度发布会上的最大惊喜,是这款RPG射击IP大作 2022腾讯游戏年度发布会刚刚结束,会上不乏值得加入愿望单的新品,但在我们眼中,当场最抢风头还是《阿凡达:重返潘多拉》的惊艳亮相 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 444000 运动品牌出海红利期再临 这个获亿级融资的品牌会是下一个lululemon吗 在运动之火重燃的当下,希望这个品牌的出海之路能带来一些启发 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 404000 日区霸榜5天,心动这款“平台格斗”新作为行业与玩家带来了什么? 在2021年7月的TapTap游戏发布会上,心动曝光了多款自研新作,其中一款名为《Flash Party》(下文简称:FP)的“格斗游戏”,凭借亮眼的画风和移动端少见的“平台格斗”核心玩法,在行业和玩家群体中收获了不少的关注度。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 448000 行业动态 AI手机的冰与火 每至年中和岁末,行业内总会浮现出轻微的焦躁和期待,手机厂商们也不例外,总习惯弄出点动静,比如搞搞联名,或是包装包装线下旗舰店——上点价值,带点产品。 siyushenqi.com 2025 年 8 月 13 日 390000 行业动态 在互动游戏里玩短剧看网文 这场赛博恋爱让男性向市场崛起了 短剧+游戏模式或将成为下一个爆款路径? siyushenqi.com 2025 年 8 月 18 日 452000 首曝登上B站热门,天美这款科幻PVE手游“藏”了哪些信息 8月13日,借着“逆战”IP十周年之际,天美首次曝光了《逆战》手游的概念CG宣传片。仅在B站,这段不到2分钟的“炫技”视频就获得了超260万的观看量。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 407000 行业动态 除了Shein,中国还有哪些跨境快时尚电商?(二) 本文我们将通过子不语和兰亭集势等案例研究带大家继续分析其他玩家的得失。 siyushenqi.com 2025 年 8 月 12 日 438000 内容分级从源头解决直播痛点,抖音电商打造高质量平台内容生态 可能几年前还没有人会想到,短视频出现后,会在短短几年内就将直播带货推向热潮,并且到现在还持续火爆。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 470000 行业动态 WhatsApp磐石系统与绿标号联合应用实战分享 WhatsApp磐石系统介绍 绿标号与磐石系统的整合应用 提升企业沟通效率 增强客户服务质量 实战案例与用户反馈 WhatsApp磐石系统介绍 WhatsApp磐石系统作为一款专为企业打造的企业级沟通平台,旨在提升企业与客户之间的沟通效率。通过集成强大的消息传递和协作工具,它为各种行业的企业提供了便捷的沟通渠道,帮助企业更高效地进行日常沟通、客户管理和服务优… siyushenqi.com 2025 年 8 月 13 日 下午9:12 424000 行业动态 官宣|Checkout.com启用OpenAI智能体电商协议,赋能全球企业商户 全球领先的数字支付公司 Checkout.com 今日宣布支持 AI 智能体电商协议。 siyushenqi.com 2025 年 11 月 26 日 397000 品牌出海,怎么做好声誉管理? 用好社交媒体这把双刃剑 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 399000 顺为资本冯铮Metaverse万字行业研究:虚拟技术赋能物理世界,数字生活值得期待 近日,顺为团队曾与大家分享 2020 年 8 月时,顺为资本副总裁冯铮内部分享的《我们距离中的「Metaverse」还有多远?》虚拟人行业报告。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 390000 行业动态 首次实现全年盈利,Coupang在韩国再上一个台阶 Coupang已连续6个季度实现盈利。 siyushenqi.com 2025 年 8 月 12 日 490000 行业动态 外媒:Twitter将于明年初关闭Periscope实时短视频服务 据外媒消息,Twitter日前发帖宣布,其很少使用的视频流媒体服务Periscope将于2021年3月关闭。 siyushenqi.com 2025 年 8 月 25 日 482000 出海老兵FunPlus求变,中核游戏竞争白热化 一场全球范围内的激烈搏杀,越来越近了 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 502000 行业动态 大潮褪去,新加坡游戏淘金热还剩下什么 2021年,在国内游戏市场面临版号寒冬、项目被砍、大裁员等困境时,许多游戏公司将目光投向新加坡,纷纷在那里设立分部。游戏人有的随公司外派,有的主动出国,把新加坡当作过渡地、跳板或“第二人生”的起点,因为新加坡地处东南亚腹地,是游戏全球化布局的桥头堡,具有税收减免、文化相近、时差同步等优势。 siyushenqi.com 2025 年 8 月 15 日 530000 发表回复 请登录后评论...登录后才能评论 提交