AI推理芯片,大模型「下半场」的入场券 siyushenqi.com • 2025 年 8 月 13 日 下午10:51 • 行业动态 • 阅读 405 如果说大模型「上半场」是技术的较量,那么「下半场」则是商业化的比拼。一旦大模型成熟,与之而来的便是落地应用,滋生对推理芯片的庞大需求。 2023是“群模共舞”的元年。 先是ChatGPT的横空出世给予众人致命震撼,随后国内诸多AI、互联网公司迅速加大资源投入“练模”。 3月,百度发布文心一言,打响了“练模大战”的第一枪。 在这场“模型大战”中,算力作为不可或缺的重武器,一度成为众公司争抢的关键要素。 作为人工智能的三驾马车之一,算力是训练AI模型、推理任务的关键。倘若把训练模型当作是做一道精致的菜肴,算力就好比一套称手的烹饪工具。 世人皆知巧妇难为无米之炊,但再好的厨子,没有一口好锅、一把好刀,面对鲜美的食材也只能望而兴叹。 “大模型动辄百亿级的参数,仓库里没有几百张A100、H100,都谈不上入围。” 所谓兵马未动、粮草先行。为了练模,模型厂商们对算力芯片的购买达到了前所未有的水平。大模型这波风潮下,最先受益的,既不是躬身入局的企业,也非下游场景用户,而是以Nvidia为代表的算力芯片厂商。 5月,Nvidia市值一路飙升,成为首家市值达到1万亿美元的芯片企业。 如果把这场肇始于“练模”的造富奇迹归结于大模型的「上半场」,那么大模型的「下半场」财富机遇,则是如何把大模型装入应用场景之中。这正如云天励飞CEO陈宁所言—— “生产大模型不是目的,千行百业的落地和应用才是最终目的。” 大模型虽然改变了传统AI算法模型的生产模式,效率更高、效果更好、泛化能力更强。但从商业化层面,仍然跳脱不了AI落地的困境。 过去几年时间,无数AI公司前赴后继,趟出了一条血淋淋的路子,即AI+场景。而对于诸多碎片化、多样化场景,AI公司们发现,边缘计算能够较好地解决AI落地应用的商业难题。 如今,大模型已然成为AI新范式,诸多厂商在尝试商业化时,也提出了“行业大模型”“一行一模”的观点,即用大模型来解决碎片化场景的业务痛点。 从这个角度看,在这条通往AI盈利的道路上,以灵活调度著称的边缘计算,将成为未来大模型广泛落地到场景的重要一环。而为边缘计算提供算力的AI推理芯片,也会迎来一次市场扩容。 01 掣肘AI落地的两个难点:场景与成本 场景与成本是AI老生常谈的话题,就像一道横亘在理想与现实之间的长河,无法避开又很难绕行。即便是最知名的AI公司、技术天才,以及商业巨子,在这条河面前都束手无策、有心无力。久而久之,AI公司套上了“盈利魔咒”。 以ChatGPT为代表的大模型之所以备受推崇,原因无他:在众人身处迷途之时,大模型让逐梦者们看到了一丝黎明前的曙光。AI创业者林夕感叹道:“大模型,AI之光。” 如果没有大模型,很多AI公司可能熬不过2023的冬天。林夕表示,ChatGPT强大的逻辑推理能力,让人们第一次近距离感受到了人工智能的厉害之处。“信心比黄金重要”,当整个社会认可大模型之后,资本才愿意继续加注。 毫不夸张地说,大模型给那些资金流转困难的AI公司们,强行续命了几年。毕竟AI之梦,也难逃现实的鸡零狗碎。 当然,这只是表象,AI如长夜、资本永不眠。资本从不为情怀买单,而是看到了大模型以极强的泛化能力,能够有效解决场景和成本这一本质难题,从而带来巨大的商业价值空间。这也正是逐梦者们看到的曙光——困扰AI商业化的难题有望得到破解。 过去,AI从实验室走向应用场景,许多创业公司开始吭哧吭哧搞业务,在一个个碎片化场景里掘土挖地。但高昂的研发投入与实际业务产生的经济价值相去甚远,人效比极低,即所谓的“造血能力严重不足”。 以安防为例,虽然AI给这个行业带来了革命性的变化,最终受益者却并不是AI公司,而是为数不多的几个安防巨头。原因在于,安防碎片化场景特别多,需要AI,但并不需要昂贵且强大的AI。 这些安防大厂能够从AI竞赛中脱颖而出的秘密,除了原来to B稳定的渠道关系,更为重要的是,他们的人效比很高。这种优势体现在产品上就是:同样一个摄像头,AI公司的产品天然贵上几十块。客户自然而然用脚投票。 如今,那些名噪一时的CV公司,安防业务已经偃旗息鼓。究其原因,AI公司在解决碎片化场景需求时,一个任务一个模型的模式,造成研发成本居高不下,加之重复建设,导致整体的运营成本处于高位,而安防本身属于脏活儿累活儿,事儿多钱少,AI公司自然而然会“水土不服”。 这种“牛刀杀鸡”的现象并不局限于安防行业,但凡是AI所及之处,基本上都会面临碎片化场景这一核心命题。在大模型未出世之前,AI对于碎片化场景非常头疼,也尝试过各种解题方式,比如小样本学习、自动机器学习等,但效果并不明显。 大模型无疑是当下解决碎片化场景的最优解,其极强的泛化能力,能够实现“一模多用”,即一个模型解决N个任务。大模型从根本上改变了算法生产的模式,能够解决碎片化、非标化问题,直接降低AI的各类成本,成为当下AI公司打破魔咒的重要路径。 02 大模型「下半场」:边缘计算成为重点 如果说大模型「上半场」是技术的较量,那么「下半场」则是商业化的比拼。 无可置疑,大模型将解决掣肘AI落地的碎片化难题,并极大地削减研发成本,给AI带来质的飞跃,使其具备更大的想象空间。但这只能算是阶段性胜利,只有客户乖乖掏出钱包里的金币,并持续复购,产生价值,AI才算取得成功。 这个AI商业闭环中,还涉及到一个部署成本的问题。 AI不是消费电子,即买即用,尽管其常常被嵌入至各类电子设备中。但AI的消费大户,仍是以降本增效为目的的B/G客户。这类客户对于AI的最后一公里交付尤为重视,他们并不愿意为AI方案的部署花费任何多余的金币。 传统AI部署常见于云端一体,主要通过云端进行计算,感知端仅有微弱算力,数据在端侧采,算法在云上跑。这种模式存在几个问题: 云计算固然有大算力的好处,但对于一些需要快速响应、计算的场景,其存在的时滞现象非常致命; 云服务器费用高昂,许多企业并不需要大算力,盲目上云反而会造成算力浪费,性价比不高; 数据上云,存在一定安全风险; 为此,AI公司们在云端一体之间,增加了边缘计算,来解决云端算力浪费及端侧算力不足的问题。 边缘计算的灵感得益于章鱼的八只触手。作为云端计算的协同和补充,边缘计算能够在数据源头附近的网关执行数据处理、分析,这种独特的优势可以实现各单元之间执行不同的任务并实现多任务协同,既满足碎片化场景的算力调度需求,又具备低延时、安全等特点。 并且,边缘计算设备的部署成本相对较低,客户不需要部署昂贵的云服务器就能用上AI,这一核心优势使得边缘计算备受青睐,已然成为AI落地的重要途径之一。 但要真正让算法模型在边缘计算设备上跑起来,仍有两个比较重要的难点。 第一,边缘设备的算力比云端服务器弱,而大部分的算法模型,是在服务器上训练的,算法模型要实现迁移,需要做大量的优化工作。 第二,算法模型要在边缘设备上部署、执行推理任务,需要一颗强大的AI算力芯片,并针对芯片做适配,才能保证算法模型的运行效率。也就是说,AI算力芯片的生态极其重要,但现阶段比较尴尬的是,AI算力芯片厂商较为分散。 可以预见的是,在大模型时代,第一个问题较为容易解决,因为大模型自带极强的泛化能力。至于第二个点,则要比想象中难得多,其涉及到底层芯片技术的研发和攻关,以及对应的生态协同。如何让边缘设备运行大模型,对于AI芯片厂商而言,这既是机遇,也是挑战。 03 大模型时代下,AI芯片的国产替代潮 AI芯片功能上分两类,分别是训练芯片和推理芯片。 训练芯片主要用于大模型的训练、学习和优化,侧重于计算性能,而推理芯片则主要为模型的推理运算提供算力。二者之间的区别在于,训练芯片重计算,推理芯片重效率(时延、功耗)。并且,从云边端协同的角度看,训练芯片多用于服务器,推理芯片则主要部署在边端设备之上。 当前,国内大模型正处于“练模”阶段,需要极强的算力支撑,因此AI公司们将目光更多放在了训练芯片上,即购买大量的GPU算力来训练算法模型。这也直接成就了Nvidia的万亿市值神话,其H100、H800等芯片一骑绝尘,国内则有华为、寒武纪等厂商在努力追赶。 一旦大模型成熟,与之而来的便是落地应用,这时必然要用到边端设备,从而滋生出对推理芯片的庞大需求。 然而,由于不可抗力因素,现阶段的训练芯片和推理芯片皆受到贸易管制,在此背景下,AI芯片的国产替代提上了日程。 作为深圳AI第一股,云天励飞在边缘侧AI芯片的布局已经成果初显。2020年,云天励飞第一代AI推理芯片DeepEye1000实现商用,并落地到AI相机、安全PC、商业机器人等边缘计算场景。 云天励飞副总裁、芯片产品线总经理李爱军告诉雷峰网,大模型作为AI的进阶态,本质上还是要落地到具体业务场景才能产生价值,而边缘计算则是不可逆的趋势,因此做好边缘计算的推理芯片,对于未来大模型的应用至关重要。 在过去三年多的时间中,DeepEye1000广泛落地到各行各业,但同时也带来了诸多反馈:算力碎片化、算法长尾化、产品非标化、规模碎片化等痛点依旧存在,传统以追求单一场景PPA的传统芯片模式难以适应AI边缘计算场景下人工智能落地的需求。 基于此,云天励飞打造了新一代的边缘计算芯片平台DeepEdge10。 DeepEdge10属于主控级SoC,可以满足绝大部分场景的控制需要,同时基于云天励飞自研的新一代的处理器NNP400T,可以高效支持Transformer。在架构方面,DeepEdge10采用了D2D Chiplet封装结构,可以实现算力灵活扩展,并通过C2CMesh互联扩展,可以支持千亿级大模型部署。 相较于第一代DeepEye1000,DeepEdge10集成了2+8核通用算力CPU,整体算力提升了4倍以上,采用D2D Chiplet封装,实现从12T到48T的算力覆盖,总体性能比上一代芯片超过20倍。 在DeepEdge10的基础上,云天励飞还打造了Edge Server算力加速卡,最高支持1024Tops的NPU算力、1920GB/S的内存带宽,以及512GB统一内存。目前,DeepEdge10已经支持主流开源模型超过100种,模型支持的数量还在更新,同时支持客户模型定制化的部署。 具体性能上,在Edge Device 端,DeepEdge10Max运行端侧70亿参数的大模型可以获得每秒27Token/s,最高可兼容130亿参数的大模型。而在Edge Server上,采用C2C Mesh互联,多卡协同,运行700亿参数大模型可获得42Token/s的生成速度,最高兼容千亿级别参数的大模型。 据了解,DeepEdge10芯片平台核心竞争力在于边缘计算,可以针对不同的场景提供差异化算力,从而满足碎片化、多样化需求。目前,DeepEdge10已经进入了大规模的应用中,有近30家算法芯片化合作伙伴,所有使用云天芯片的产品合作伙伴,均可在线下载更新云天超过100多种算法。 李爱军表示,大模型未来落地到机器人、无人驾驶汽车等场景,都需要用到推理芯片,而推理芯片正处于百家争鸣的过程。而在国内,如何基于国产工艺实现推理芯片的研发、流片和商用至关重要。 现阶段,国内芯片的成熟工艺处于14nm的节点。对于千亿级、万亿级别的大模型,其推理芯片不但需要极强的计算能力,还要保持超低的功耗和超低的成本,对芯片制程的工艺达到了5nm、2nm。显然,国产芯片离最高端的芯片还有一段距离。 不过,结合当前国内的生产工艺,云天励飞与合作伙伴于2020年开始技术攻关,在ChipletD2D的技术上定制了一系列IP,实现了可以在14nm芯片上运行千亿大模型的功能。虽然成本、功耗会高一些,但这已经是国产芯片的最优水平。至于更高工艺的芯片,国内芯片厂商既需要资源,也需要时间。 “我们志在打造国产工艺自主可控的AI芯片。”李爱军告诉雷峰网,这条路道阻且长,但云天励飞会坚定地走下去。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33307.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 专访OpenAI CEO阿尔特曼:中国在AI领域会很出色 上一篇 2025 年 8 月 13 日 下午10:51 可与H100一战,微软首款5纳米自研芯片震撼发布!Copilot引爆办公全家桶,Bing Chat改名 下一篇 2025 年 8 月 13 日 下午10:51 相关推荐 行业动态 月收入暴增476%,红利正当时,语聊转向东南亚再探社交新蓝海 社交+语音,卷不动的中东,和即将卷起的东南亚。 siyushenqi.com 2025 年 8 月 17 日 450000 “巴铁”痴迷中国直播 医生阿迪·泽曼的白大褂下隐藏着一个网络名人。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 437000 行业动态 我如何用Telegram双向私信群发策略,成功实现产品推广和变现 在这篇文章中,我分享了我在海外APP推广过程中使用Telegram双向私信群发的实战经验,包括成功的策略和踩坑教训。希望能为你提供实用的思路和可操作的步骤。 siyushenqi.com 2026 年 3 月 6 日 342000 这款电商界的Midjourney,正在颠覆着海外电商的营销物料生产方式 借助生成式AI技术,PhotoG可以快速生成高度真实的商品场景展示,帮助品牌降低拍摄成本、提高营销效率,并大幅缩短物料制作周期。 siyushenqi.com 2025 年 8 月 5 日 • 行业动态 494000 前Musical.ly总裁创业第四年:Wink、Summer搅动欧美社交市场 告别Musical.ly Alex在陌生社交赛道的4年时光 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 487000 ESA年度报告:美国6.1万人从事游戏开发工作,企业数近1700家 很多人都知道游戏行业如今已经是超越电影和音乐的第一大娱乐行业,但是,它对于整个经济到底有怎样的影响呢? siyushenqi.com 2025 年 8 月 25 日 • 行业动态 482000 行业动态 腾讯开始靠AI赚钱 马化腾:它的贡献是实质性的 营收1800亿元,同比增长13%。权益持有人应占利润478亿元,同比增长14%;非国际财务报告准则下权益持有人应占利润613亿元,同比增长22%。 siyushenqi.com 2025 年 8 月 13 日 495000 行业动态 投入数亿美元的大模型“对齐”,脆弱得像饺子皮 AI对齐是确保人工智能系统符合人类价值观、拒绝有害行为的关键技术手段。然而,最新研究显示,即使是经过对齐的AI系统也可能极其脆弱,仅通过微小的训练调整就能引发全面的道德崩溃和价值观扭曲,这引发了对AI安全性的深刻担忧。 siyushenqi.com 2025 年 8 月 13 日 443000 《辐射避难所OL》登上日本免费TOP1、韩国免费TOP2 | 一周手游出海榜 最新一期的《一周手游出海榜》 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 416000 Google 百度正式官宣 ChatGPT 竞品!能否颠覆搜索引擎已经没那么重要 搜索引擎迎来真正的挑战 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 410000 行业动态 WhatsApp蓝标号申请材料准备与流程分析 材料准备 申请流程 对比分析 常见问题 材料准备 WhatsApp 蓝标号申请的首要步骤是准备相关材料。企业需要提供一些证明文件,以证明其身份和品牌的合法性。首先,企业必须提供一份官方的企业身份文件,如营业执照或税务登记证等。这些文件能够证明申请者的商业合法性和运营资格。其次,企业需要提交品牌注册证明,确保所申请的蓝标号能够与其已注册的品牌保持一致。此外,申… siyushenqi.com 2025 年 8 月 13 日 下午10:51 405000 行业动态 2025年11月中国手游发行商全球收入排行榜 Sensor Tower商店情报平台显示,2025年11月共33个中国厂商入围全球手游发行商收入榜TOP100,合计吸金19.5亿美元,占本期全球TOP100手游发行商收入35.8%。 siyushenqi.com 2025 年 12 月 10 日 604000 中青宝《酿酒大师》4个月充值流水2444元,已有4款项目在研 作为2021年元宇宙龙头股,中青宝用元宇宙概念与白酒挂钩的方式带来了一次股价的飞涨。但由于游戏没有实际落地,其带来的股价波动也让他们在2021年的10月和11月连续收到了深交所的关注函和问询函。而在半年多后的2022年5月12日,中青宝又一次收到了深交所的年报问询函。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 486000 5G风口大厂加速布局云游戏!除了谷歌外,网易/巨人/完美/37纷纷切入 随着国内5G市场的快速普及,据艾媒咨询发布的《2019中国云游戏行业专题研究报告》显示,预计2023年,云游戏市场规模将增长至接近千亿元,用户规模有望达3.73亿人。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 514000 深度剖析 | 热门社交游戏如何改编VR,《Among Us VR》给出答案 游戏是VR最为成熟的应用场景之一,而社交在VR中的重要性也正在日益提升。二者怎样结合才能获得“1+1>2”的成效,由Schell Games负责开发的《Among Us VR》交出了这样一份答卷。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 533000 私域神器每周精选 No.17|多个热门赛道精品游戏寻海内外发行与投资 本期精选的合作类型涵盖多款精品手游发行、投资与APP联运等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 14 日 • 行业动态 400000 行业动态 下沉小城镇和二、三线城市,印度电子支付想“复制”中国模式? 如今,数字支付已经不再局限于乘坐地铁时使用了,随着新冠疫情的爆发,越来越多的人们开始尝试非接触式交易 siyushenqi.com 2025 年 8 月 13 日 441000 行业动态 腾讯网易急入局,桌崽留存超豆包,游戏新世代由AI队友开启 AI技术正从辅助制作工具转变为游戏的核心玩法,成为玩家在游戏中的“助手”和“队友”。 siyushenqi.com 2025 年 8 月 13 日 498000 Takealot与亚马逊正面交锋,商品交付效率卷出新高度 Takealot坐不住了,想方设法迎战或将要来南非的亚马逊。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 453000 行业动态 大模型激战之后,AI创业者扎堆儿猛冲AI agent,PMF找到了? AI agent会引发一场新的人工智能之战吗? siyushenqi.com 2025 年 8 月 13 日 439000 行业动态 用AI读书、学习,大脑会萎缩吗? 自2022年底ChatGPT推出以来,学生成为其忠实用户群体之一。调查显示,到2024年底,约七成美国青少年使用过生成式人工智能工具,超一半用其完成家庭作业,国内也有类似情况。AI让完成作业变得轻松,但引发了学生是否真正学会知识的质疑。 siyushenqi.com 2025 年 8 月 13 日 396000 一头扎进“内容创作”的米哈游,又用一个PV引爆海内外 在《原神》于7月9日公布了一则须弥的前瞻视频之后,当所有人都以为游戏会和往常一样逐步放出更多相关消息时,米哈游却在7月11日甩出了一个更为重磅的炸弹。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 524000 印尼出海新规 7月20日前必须完成PSE注册 印尼早前要求电子系统运营商的互联网企业进行PSE注册,但只是对公共电子系统运营商予以强制性要求,对私营系统运营商则采取自愿的方式,并非强制性注册。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 611000 行业动态 自变量机器人,一年融4轮! 自变量机器人(X Square Robot)完成数亿元 Pre-A++ 轮融资,由光速光合和君联资本领投,北京机器人产业基金和神骐资本跟投。融资将用于下一代具身智能通用大模型的训练与场景落地。 siyushenqi.com 2025 年 8 月 13 日 449000 行业动态 AI眼镜:是下一代「革命性」产品,还是「昙花一现」? 小米 1999 元新品 12 小时销量破万台,带动 20 余家厂商在半年内密集发布新品,全球 Q1 出货量同比增 82%,中国市场增 116%,行业正式从 0 到 1 走向 1 到 N。 siyushenqi.com 2025 年 8 月 15 日 502000 行业动态 亚马逊,TEMU自养号:如何降低砍单风险,实现高效采购? 在跨境电商竞争白热化的当下,Temu与亚马逊等平台对批量采购行为的监管持续升级。传统第三方采购模式因成本高、风险不可控逐渐失宠,而自养号下单技术凭借“模拟真实用户行为、构建独立账号生态”的特性,成为商家突破平台限制、实现高效采购的核心策略。本文将从技术架构、操作流程、风险控制三个维度,系统解析自养号技术的实施要点。 一、技术架构:构建独立账号生态的基石 1.… siyushenqi.com 2025 年 8 月 13 日 下午10:51 405000 行业动态 掘金东南亚,AI译制成主流,短剧如何撬动全球百亿市场? 国内短剧市场预计在2025年将达到621亿人民币,相比2024年增长24.2%,增速放缓。海外市场则显示出更高的增长潜力,预计未来海外月均短剧用户规模将达到2-3亿,市场规模将达到100亿美元。 siyushenqi.com 2025 年 8 月 17 日 407000 行业动态 GDC这几场干货分享说明:做游戏「比谁船大」的时代结束了 大小不是关键,现在比的是谁家船更先进。 siyushenqi.com 2025 年 8 月 18 日 499000 行业动态 私域神器助力外贸获客的实战经验分享 精准营销 客户社群 数据分析 个性化服务 精准营销:外贸获客的基础 精准营销是私域营销的核心组成部分,它通过社交媒体、数据分析和目标客户定位,实现外贸企业在不同市场中的精确推广。外贸企业在国际市场中,需要通过深入了解客户需求和行为特征,精准制定营销方案,才能有效提高获客效率。 首先,精准营销能够帮助外贸企业降低市场推广成本,提升资源利用效率。通过分析客户的购… siyushenqi.com 2025 年 8 月 13 日 下午10:51 405000 行业动态 Facebook应该怎么养号 近期看大家的Facebook个号,主页,BM都被封的特别厉害,分享一些个人养号小技巧,希望对大家有帮助。 siyushenqi.com 2025 年 8 月 3 日 384000 发表回复 请登录后评论...登录后才能评论 提交