榨取大模型算力,百度想了一些招 siyushenqi.com • 2025 年 8 月 13 日 下午9:12 • 行业动态 • 阅读 441 在大模型时代,算力成为了最宝贵的资源,其重要性甚至超过了黄金。 摘要 百度智能云AI计算部负责人王雁鹏分享了百度如何通过技术手段提升算力利用率,包括降低能耗、提升单卡算力、优化并行扩展效率等。 面对算力受限的现实情况,百度通过技术创新,实现了不同规格芯片的有效聚合和利用,减少了性能损失。 在算力资源受限和成本上升的背景下,百度的技术创新也着重于成本控制,以实现更高效的资源利用。 随着大模型训练规模的不断扩大,算力竞争将更加激烈,百度的技术探索和准备将有助于应对未来的挑战。 以前最宝贵的资源是黄金,现在最宝贵的资源是算力。 9月13日凌晨,OpenAI官宣发布o1-preview,传说中的“草莓”既带来令人惊异的推理能力,也引起对算力的进一步关注。此前头部玩家已经把模型训练规模卷向10万卡级别,草莓的算力消耗可能还要大上好多倍。于是对有志于从大模型时代掘金的弄潮儿来说,算力问题更加凸显。 一方面,大家要想办法堆高算力资源,另一方面,还需要把有限的算力资源尽可能高效地利用。前者需要巨额的金钱投入,后者则需要精细把控算力调用的各个环节。 同在9月13日,百度做了一场有关大模型训练成本的技术分享,百度智能云AI计算部负责人王雁鹏对大模型时代的算力浪费难题做了一番拆解,并给出了百度百舸怎么把算力利用率提升的应对策略。大模型时代,算力成本是最大成本。即便1%的算力损耗,都会对应一大笔金钱上的损失。而据王雁鹏介绍,目前企业训练大模型的算力有效利用率不足 50%,大量算力被浪费了。 这种情形自然可惜。要怎么提升算力有效利用率,成为拦在大模型玩家面前的一道关卡。大家都要寻找自己的答案。 图为百度智能云AI计算部负责人王雁鹏 把算力用起来,很难 大模型时代,“把算力用起来”本身就是一件很难的事。在这背后,是计算范式的变革和与之相伴的技术变迁。 王雁鹏介绍,在早先的CPU通用计算时代,因为CPU有非常复杂的结构,带来了软硬件的完全解耦,软件和硬件可以分别迭代演进。比如升级CPU后,不需要把应用重新适配。CPU性能提升一倍,应用的性能相应也会提升一倍。 之后到了GPU数值加速计算的时代,GPU相当于设计了很多简单粗暴的机械臂,个子小而力气大,但要想全部都用起来很不容易。于是催生了加速库生态,也就是针对不同的应用场景来写加速的软件库。这时候,发挥算力的复杂度从硬件转移到软件。没有软件上很好的配合,算力就不会有好的发挥。 而在当下的AI大集群超算时代,规模本身束缚了算力的发挥。王雁鹏指出,大模型的算法其实没有很多,难点在于,以前一个芯片已经搞定东西,现在需要1万张芯片、10万张芯片去做,当单机技术延展到10万卡的集群,就要有一个极致互连的集群架构。其中涉及高性能的网络、更好的并行策略等技术方案,也需要有更好的容错、恢复能力。 如何高效发挥大集群的算力,正是眼下业内最关注的事情。在王雁鹏看来,有效算力是能耗有效率、单卡算力有效率、并行扩展有效率、有效训练时间、资源利用率等五个环节共同作用的结果,只有在五个维度都作出改善,才能把算力利用率有效提升。 若细分来看,前三项主要涉及硬件本身性能的发挥,后两项则侧重于有限资源的更充分利用。 边降能耗,边提性能 “算力供给比拼的终局是能源供给”。解决算力浪费,首先要改善能耗损失。 这里涉及数据中心的能源效率,具体指标是 PUE(Power Usage Effectiveness)。其含义,可理解为整体电耗与花在芯片上的功耗的比值。PUE越低,意味着数据中心的能源效率就越高。目前业界平均水平大于 1.2,百度云自建数据中心的平均 PUE 则小于 1.1。 这有赖于百度百舸的液冷方案。王雁鹏提到,现在单个GPU的功耗已经超过1000瓦,如果按照传统机房的风冷方案设计,可能会有30%的电力浪费在散热上,并且散热会影响GPU的频率,进而限制其性能发挥。液冷相较于风冷实现一举三得,既减少电力损耗,还可以带来10%的性能提升,同时因为散热均匀、没有风扇震动,可以把机器故障率降低 60%到70%。 单卡算力涉及的指标是 MFU(Model FLOPS Utilization),可理解为有效算法算力与标称理论算力的比值。王雁鹏举例,在大模型上,即便把单机做极致优化,MFU也只能达到70%,也就是发挥七成算力。这受限于前文所说的GPU设计理念,而解决方案,需要在软件层面下功夫。就百度百舸来说,提升单卡算力利用的手段就是基于场景去做算子的加速库。对比英伟达的原生库,由此带来了10%加速库层面的提升。 第三个维度是提升并行扩展有效率,这涉及百度为万卡场景设计的RDMA网络,以及自动并行策略。 在万卡场景,第一个瓶颈点就是网络连接问题。以往备受推崇的IB网络是为HPC(高性能计算)设计,对AI集群并不合适。前者以延迟为第一导向,但AI重视的是吞吐,需要大量数据同步传输。而RDMA网络的优势之一正是高吞吐和高效率。更进一步,百度通过自适应路由等优化,把RDMA网络的带宽有效率从60%提升到95%以上,借此带动大模型性能提升5%到10%。 至于自动并行策略,王雁鹏称其为百度AI大集群最重要的演进范式,其原理是通过自动分析计算任务和计算资源,实现任务在多个计算单元上的合理分配并行执行。这一定程度实现了大模型层面的软硬件解耦。也就是说,在大模型的硬件升级后,模型不需要再做很多适配,就可以直接利用硬件升级带来的好处。 有限硬件的充分利用 优化了单卡性能,提升了集群效能,之后的挑战是,怎么保证AI训练的稳定运行。随着算力规模的提升,故障时间也会变长。 举例而来,如果在千卡规模,AI训练能够在99%的时间稳定运行,只有1%时间浪费。到了万卡规模,有效时间比值就会降低到90%。到了十万卡规模,有效时间可能就会变成0。为了更好地利用算力资源,就需要尽量减少无效训练时间。 拆解来看,既要想办法缩短故障定位的时间,也要要缩短任务恢复时间。关于前者,因为AI训练是同步任务,如果只是某一张卡发生故障,用传统方法很难定位到具体的故障卡。百度的经验是,在通讯库层面加强hang检测、慢节点检测,实现秒级定位。关于后者,百度通过缩减checkpoint时间等,也实现了更快的任务恢复。这些措施结合起来,百度百舸万卡规模的AI训练有效时间提升到了99%以上。 再往后看,算力资源有效利用还涉及一道难关,就是能否用同一集群来支撑多任务的处理。这又可以拆解成多方面的问题。比如,大量微调模型会导致冷热不均,需求是否可以用离线推理来满足,怎么应付从单卡到万卡的不同量级的任务,等等。 百度的应对措施主要有三项,首先,以弹性队列为核心,去设计每一个任务的配合和分配策略。其次,在单机实现多推理混布。此外,为训练任务设置弹性伸缩机制。这样,百度百舸对内对外的资源利用率基本都做到了90%以上。 还是得谈卡脖子 最后,国内大模型还要面对更普遍也更现实的一项挑战,就是算力卡脖子。如果没有足够的芯片资源,那么谈论算力浪费也就失去了意义。 要拿英伟达的卡会面临各种限制,国产卡有各种不同的规格和参数。在算力受限的情况下,大模型厂商要想办法把有限的卡聚合起来,充分利用。 百度的解法是,在大模型套件中设置能够抽象的层,以便把各种芯片用起来。然后在这个基础上用跨芯通讯库的设计,解决不同芯片的通信问题。再之后借助一种异构并行切分策略,让芯片性能可以在复杂的互连条件下发挥出来。 最终的效果是,千卡的性能损失可以控制在3%左右,万卡控制在5%左右。同时,当需要翻倍算力训练模型的时候,可以把存量的上一代芯片和增量芯片集纳到一起,进而大幅减少开支——“省钱”,是百度种种探索的另一个重点。 总的来说,大模型的算力之争很快就要升级。据王雁鹏介绍,今年大家的训练基本都是万卡规模,10万卡的竞争马上就要到来。百度为榨取算力性能所想的办法,既是技术层面“少花钱多办事”的探索,也呼应了当下国内算力受限的局面。 更大规模的算力之争,需要早做准备。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32546.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 Kimi创始人杨植麟最新分享:关于OpenAI o1新范式的深度思考 上一篇 2025 年 8 月 13 日 下午9:12 得罪了一个 GPT 后,我被所有大模型集体「拉黑」 下一篇 2025 年 8 月 13 日 下午9:12 相关推荐 行业动态 网易“关停潮”再添一员,前《英雄联盟》设计师工作室被关闭 前《魔兽世界》与《英雄联盟》设计师格雷格·斯特里特创办的Fantastic Pixel Castle(FPC)工作室,宣布将于2023年11月17日正式关闭,除非有潜在投资者在最后一刻伸出援手。 siyushenqi.com 2025 年 11 月 5 日 394000 行业动态 在垂类里放大局部优势、做用户心理阈值,“纯AI驱动的UGC视觉小说游戏平台”是如何炼成的?丨对话DDream 创始人 王俊皓 解决AI陪伴的商业化问题,思路在于游戏化的本质。 siyushenqi.com 2025 年 8 月 17 日 412000 行业动态 跨境支付要注意什么? 跨境支付要注意什么? siyushenqi.com 2025 年 8 月 3 日 462000 魔方真能从“塔科夫-like”的暗区中突围吗? 披着“羊皮”的“狼” siyushenqi.com 2025 年 8 月 24 日 • 行业动态 478000 行业动态 红包轰炸AI社交,这场竞争“很中国” 2026年春节腾讯元宝、百度文心助手重启红包补贴大战,标志中国AI应用进入全球化获客白刃战,与OpenAI社交化战略形成中美双强格局。 siyushenqi.com 2026 年 2 月 3 日 333000 行业动态 过度依赖GPT,会让我们的文明倒退吗? 春季学期伊始,全球各地的老师们如临大敌,因为学生们带着ChatGPT杀过来了。Study.com的调研显示,每10个学生中就有超过9个知道ChatGPT,多达89%的学生使用ChatGPT来完成家庭作业,53%的学生直接拿ChatGPT写论文。 siyushenqi.com 2025 年 8 月 14 日 498000 行业动态 苹果为Siri“联手”谷歌 苹果拟年付10亿美元,租用谷歌1.2万亿参数定制Gemini,为明年春季Siri大升级临时“输血”。 siyushenqi.com 2025 年 11 月 6 日 344000 99%的外贸人都不知道的LinkedIn运营秘籍!找客户提效的方法来了! 用LinkedIn来做外贸客户开发,已是外贸企业目前达成的共识了。但是如何能够快速精准地找到目标客户呢? LinkedIn运营的基础:精准的目标客户画像 01 开发客户前的准备工作 在用LinkedIn进行客户开发之前应该做以下准备工作: 02 通过分析海关数据等方法找到关键数据事实 以上提到的准备工作所需要的数据和事实该如何获取?我们可以通过以下途径: 分… siyushenqi.com 2025 年 8 月 13 日 下午9:12 • 行业动态 441000 行业动态 GICC2025 | 年度重磅奖项——金帆奖申报计划正式启动! GICC | 2025金帆奖,邀您共鉴百大出海先锋力量。 siyushenqi.com 2025 年 9 月 5 日 514000 行业动态 私域神器每周合作精选No.120|AI女友游戏寻海外发行;混合变现塔防寻发行;小游戏研发团队寻求资金 本期精选的合作类型涵盖AI女友游戏寻海外发行;混合变现塔防寻发行;小游戏研发团队寻求资金等。 siyushenqi.com 2025 年 8 月 17 日 431000 2021年社交媒体营销预测(1):Facebook——重点推动电商业务,技术领域优势先行 2020年无疑是艰难的一年。许多企业都迅速进行了调整,以寻求在扼制新冠疫情传播的全球封禁困境之下的生存 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 438000 行业动态 好评新作刚刚发售,这家工作室就宣布解散 RTT游戏死路一条? siyushenqi.com 2025 年 8 月 19 日 472000 《PUBG Mobile》72天狂吸金34亿,总收入已突破239亿 根据Sensor Tower的数据,腾讯的战术竞技手游《PUBG Mobile》在短短72天内吸金5亿美元(约34.17亿人民币) siyushenqi.com 2025 年 8 月 26 日 • 行业动态 543000 行业动态 OpenAI裂变成了两块:一块营利,一块非营利 OpenAI宣布了公司重组的消息,旨在解决营利与非营利之间的矛盾,以更好地推进其使命。 siyushenqi.com 2025 年 8 月 13 日 452000 行业动态 2025年2月全球手游收入与下载量TOP10 《王者荣耀》蝉联全球手游收入冠军,《Last War: Survival》跃升至第二,《Whiteout Survival》、《Royal Match》和《MONOPOLY GO!》跻身前五。 siyushenqi.com 2025 年 8 月 17 日 606000 从今年的大厂发布会,我们看到了哪些游戏研发技术的新趋势? 5月,几乎是国内游戏圈最热闹的时刻之一。过去30天内,行业两大巨头——腾讯和网易先后在线上举行年度游戏发布会,带来了近百款游戏的最新消息。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 482000 干货:海外疫情期广告投放5大关键变化,及优化建议 本文将整理疫情期间行业报告等相关资料,以数据导向分享疫情期玩家特征变化及广告投放5大趋势变化,为开发者们定制投放策略时做参考。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 436000 在韩国市场突围的《DNF》手游,或许能将这个IP带向更高处 Neople研发、母公司Nexon发行的游戏《던전앤파이터 모바일》(以下简称「《DNF》手游」)自2022年3月在韩国上线以来,在iOS畅销榜上一直保持着Top10且时常登顶的水平。根据Sensor Tower的数据显示,游戏上线至今收入已超7800万美元。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 514000 这款模拟经营游戏,为何能吸引到“那群大学生?” 2020年应该是模拟经营类游戏大放异彩的一年。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 480000 行业动态 京东回应法国仓库失窃:损失没有3个亿 京东法国仓被盗,警方已立案,仓库已恢复运营。 siyushenqi.com 2025 年 12 月 26 日 408000 B面“世界杯”:备货中的义乌工厂、卖家和品牌 经济周期,赛事轮回。2022年的卡塔尔世界杯,第一次放在北半球的冬季,叠加黑五、网一、双11等传统旺季,中国制造与之相关的每个环节都将躁动起来。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 453000 行业动态 京东Joybuy 3月正式上线欧洲 京东Joybuy将于2026年3月正式上线欧洲,依托130+海外仓与智能物流体系,收购CECONOMY千家门店,布局"线上+线下"本地零售生态。 siyushenqi.com 2026 年 2 月 10 日 314000 私域神器读财报: 欢聚Q2扭亏,BIGO 付费用户158万营收近6亿 欢聚时代Q2实现扭亏后,除了BIGO、HAGO之外正在海外业务上布更大的局 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 576000 Flat Ads、CM.com、Vonage确认入驻PAGC 2024 | 第四届全球产品与增长展会 ! 恭喜Flat Ads、CM.com、Vonage作为展商入驻第四届全球产品与增长展会。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 436000 行业动态 外贸企业如何借助LinkedIn矩阵开拓国际市场 如何创建专业的 LinkedIn 页面 内容营销策略 参与行业相关群组讨论 LinkedIn 广告精准投放 建立国际合作伙伴关系 如何创建专业的 LinkedIn 页面 外贸企业要在 LinkedIn 上建立良好的形象,首先需要创建一个专业的 LinkedIn 页面。这一页面应该简洁、清晰地展示企业的核心信息,包括企业背景、产品与服务介绍、客户案例和联系方式… siyushenqi.com 2025 年 8 月 13 日 下午9:12 441000 行业动态 亚马逊销售额暴涨120%,卖家凭什么拿下千亿市场? 欧美之外,以拉美为首的新兴市场正成为跨境商家挖掘增量的新沃土。 siyushenqi.com 2025 年 8 月 12 日 418000 网易游戏520新品多元并进 能打的游戏一款接一款 网易新游布局策略。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 487000 私域神器资讯晨报:《广告平台综合表现报告》第十四版最速解读;恺英转型两年增长超2倍,到底做了什么?TikTok直播电商的377天:复刻抖音,印尼逆袭;前索尼高管加盟Imagendary Studios,打造全球IP工作室天花板。 《广告平台综合表现报告》第十四版公布,Meta、Google依旧强势,梯队差距持续减弱,中资流量快速崛起。 恺英网络转型2年净利润6亿,从思维到运营落地,究竟做对了什么。 Tiktok在印尼快速增长,能否让中国式带货在海外开花结果? 前索尼高管加盟Imagendary Studios,众多人才联手,这家全球IP工作室值得期待。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 524000 行业动态 德国调查Temu:涉嫌操纵价格 德国反垄断办正式起诉Temu,盯上它“逼商家定价”——若属实,涉嫌操纵转售价格,属硬红线。 siyushenqi.com 2025 年 10 月 9 日 364000 行业动态 2026全球非游应用趋势报告解读:从平台博弈到品类分化,系统化增长是应用突围唯一解 安卓抢规模iOS攻利润,短剧AI社交领跑,智能竞价成标配。 siyushenqi.com 2026 年 3 月 5 日 508000 发表回复 请登录后评论...登录后才能评论 提交