推理时代，算力产业需要换一套账本丨ToB产业观察

Leo张ToB杂谈

2026.11.03 19:00

· 来自浙江

全文3463字

00:00 / 10:05

推理的崛起，除了改变了原有的算里账本之外，也在改写着芯片产业的结构。

算力产业今年有一个很明显的变化，用户已经不再停留在“算力规模有多大”“芯片性能提升了多少”，而是反复围绕一个更具体的词：Token。新爱算联合创始人杨智告诉我们，今年年初以来，他们客户提的问题完全变了，“客户开始更聚焦模型跑起来一秒能出多少Token？生成Token的成本是多少钱？”

这背后是算力产业的价值体系变了。AI算力的价值衡量体系，正在从训练时代的追求峰值算力，转变为推理时代的追求效率。

算力生意的逻辑变了

在杨智看来，今天的智算行业，就好像二十年前的房地产行业。“当年房地产是包工头定制化、单位分房，找个包工头把房子盖好就能住。现在很多智算中心也一样，大厂过来租机房，把设备搬过去弄好，就结束了。”

芯片是砖头，改卡生产和维修维保是装配式建筑和物业，投建管理就是房地产开发。“而新爱算这一类企业，并不参与IDC拿地建设，而是把算力卡资产注入到郑州、杭州萧山等地的智算中心里。”杨智如是说。

但房地产行业真正成熟，靠的不是盖楼，而是从交钥匙工程，走向精细化的资产运营，而这也是当下算力行业同样正在经历的一步。尤其是在AI for Science（AI4S）需求的爆发下，这种转变被进一步推动。QYResearch的统计显示，2025年全球AI for Science市场规模约为45.38亿美元，到2032年预计达到262.3亿美元，年复合增长率28.9%。

AI4S的需求也是推理市场火爆的一个映射，国家数据局局长刘烈宏在2026年数字中国建设峰会上还披露，2025年推理数据量已达101.34艾字节，首次超过训练数据量，未来推理算力需求与训练算力需求之比或将达到3:1甚至更高。

而中国信通院《词元经济发展研究报告（2026年）》也指出，2026年推理算力占AI算力总负载的比重将达到70.5%。Gartner的预测更直接地体现在钱的流向上：2026年全球推理支出将达到233亿美元，首次超过190亿美元的训练支出，占AI IaaS总支出的55%。训练和推理的“主配角”关系，在这一年正式翻转。

需求端的这种转折，已经直接传导到了采购和验收环节。杨智坦言，过去客户只看卡的型号、数量和峰值FLOPS，而现在问的是：针对自己的模型、上下文长度和并发需求，吞吐能做到什么水平？响应延迟是否稳定？每月能耗和运维成本怎么控制？出了问题业务多久能恢复？“FLOPS仍然是设备选型的基础指标，但已经不是采购决策和项目验收的终点了。客户采购的不是一组参数，而是一项可持续运行的业务能力。”杨智指出。

这也解释了为什么行业开始流行每瓦Token产出、单位成本推理延迟这类新指标。北京并行科技董事长陈健曾在中关村论坛上表示：行业最优与最差的Token性能、成本差距可达100倍；DeepSeek官网百万Token的成本，从年初的约130元，通过系统优化降到了3元以下，离线场景甚至低至0.3元。

即便如此，推理需求的“高潮”还尚未到来，对此，杨智指出，当前的第一波需求，来自C端智能体产品，一个智能体完成一整套任务，消耗的Token是普通聊天的几倍甚至上百倍，不少产品上线后Token用量直接涨6倍，服务紧急扩容10倍。而当金融、医疗、制造、能源等行业的大模型真正走进千行百业，“等大门打开的时候，会是现在的算力需求的至少100倍”。杨智判断道。

真正难的不是买卡，是让系统跑起来

如果说Token经济改变了算力的账本，那么工程化交付能力，就是这本账能不能算清楚的关键。曙光智算总裁何牧君告诉我们，如今各家基模厂商发布新模型，超算互联网“零栈适配”基本都能做到，因为国产芯片的算力兼容性越来越好，基模厂商也基本都在CUDA架构上做训练。但能跑和好用完全是两回事。

以模型上下文为例：基模基本都支持百万级（1M）上下文，但实际部署时，0-128K、128K-512K、512K-1M，各自适合不同的部署和优化方案，还要考虑PD分离怎么部署，以及并行度等问题。“这些工作量是非常大的，我们基本上从它发模型倒推，前置2-3个月的时间。”何牧君指出。

模型“点亮”只是起点，离业务稳定运行还差着大量系统工程。在此基础上，杨智把交付验证拆成了四层：第一层是设备健康，包括供电、散热部件识别和基础压力测试；第二层是集群与网络的兼容性，包括驱动固件、网络链路和通信拓扑；第三层是与客户共同定义的业务负载验证，包括模型、并发、精度和关键时延；第四层是连续运行与验收交接。“设备能通电不等于集群能稳定通信，集群能跑通测试也不等于客户的模型和流程可以达到预期。”杨智强调。

而对于好用的标准，在杨智看来，可以从四个维度评估，即：性能可预期，关键并发下不能大幅波动；运行足够稳定，长任务不掉链、不中断；故障可定位，客户不必在模组、底板、网络和软件之间反复猜测；服务可恢复，有明确的响应、备件、维修和复验机制。

在软件侧，优化的空间同样巨大。杨智把推理优化分成三层：模型层、引擎层、系统层，而“把群片一整群机器干活”的系统层，正是行业最卷的战场。DeepSeek联合清华解决的Agent KV缓存瓶颈，让线上吞吐接近翻倍；英伟达公布的公开数据显示，同样的硬件平台，仅靠软件优化，DeepSeek的Token成本一个月内最低降到原来的1/5；PD分离、FP4专家并行、卡板吞吐提升20倍，这些已全部是验证过的事实。

而这也让异构算力成为必然的选择。训练时代，拼的是超大规模集群、高速互联、成熟软件生态缺一不可，英伟达几乎一家独大；但推理赛道的游戏规则完全变了，推理比拼的是每一个Token的成本、能效、业务吞吐，“上层业务越来越不关心底层是什么卡。”杨智指出。

推理时代，巨头开始卡位战

推理的崛起，除了改变了原有的算里账本之外，也在改写着芯片产业的结构。以行业巨头英伟达为例，去年12月，英伟达宣布与推理芯片公司Groq达成约200亿美元的非排他性授权协议，获得其LPU架构等核心技术授权，创始人Jonathan Ross及核心团队集体加入英伟达，而Groq公司本身仍独立运营。这笔交易超过了英伟达2019年以约70亿美元收购Mellanox的纪录，成为其史上最大手笔。

值得注意的是交易的形式，并不是传统并购，而是“技术许可+人才迁移”。行业内普遍将其解读为一次防御性收购，“当推理对延迟、能效和确定性的要求超越通用GPU的舒适区时，英伟达选择把最有威胁的非GPU架构收编进来。”杨智进一步分析道，“英伟达拿下Groq，AMD拿到对标谷歌TPU的路线，大家在拼命争夺ASIC推理芯片，在大模型已经逐渐收敛的当下，ASIC的机会就是万亿级的蓝海市场。”2025年，AMD数据中心业务收入同比接近翻番，ASIC推理芯片创业团队大量涌现，海外和国内的信号都在指向同一个方向。

与此同时，生态协作的方式同样在进化。超算互联网的实践提供了另一种参照：他们通过“万卡集群邀测计划”，让数万名用户参与到十万卡应用的测试中，而实际客户群里用量最大的反而是10个节点以内的普惠需求，今天80卡的用户，可能几个月后就是800卡、几千卡。何牧君坦言，做算力普惠从财务账上并不如一次性卖给大客户划算，但复旦类脑团队从几十卡、一百卡起步，如今已到万卡级别，据悉，目前“万卡共创者激励计划”已经覆盖了科研、985高校和缺少IT经验的药厂、医院等多种参与者。而曙光正用商业化方式满足各方不同的利益诉求，“不光是芯片上要具备不同的能力，整个工作流流水线当中可能要处理不同的科学任务，这对系统架构，以及生态建设的需求又更进一步。”何牧君强调。

从算力账本到工程化能力，再到生态的构建，推理时代对算力产业的改动正在层层深入。衡量算力的标尺换成了Token，比拼的重心落在了交付与运维上，产业链各方的合作方式也随之改变。正如杨智所言，推理爆发前夜往往显得安静，恰恰是积蓄力量的时刻。

ToB产业观察

本文系作者 Leo张ToB杂谈 授权钛媒体发表，并经钛媒体编辑，转载请注明出处、作者和 本文链接 。 本内容来源于钛媒体钛度号，文章内容仅供参考、交流、学习，不构成投资建议。 想和千万钛媒体用户分享你的新奇观点和发现， 点击这里投稿 。创业或融资寻求报道， 点击这里 。

788人已赞赏 >

敬原创，有钛度，得赞赏

赞赏支持

发表评论

0 / 300

根据《网络安全法》实名制要求，请绑定手机号后发表评论

登录

请 登录 后输入评论内容

快报

更多

国家知识产权局印发《专利和商标审查“十五五”规划》

国际电信联盟：2026年全球网民约63亿

11月3日新闻联播速览17条

保加利亚现任总统约托娃赢得总统选举

*ST闻泰：NexperiaB.V.已向荷兰法院起诉公司及实控人索赔20亿美元

瑞幸咖啡：2026Q3总收入约179亿，同比增长17.0%

“中国之星计划”第四期单项目将获百万美元投资

中兴拟成立合资公司出售手机业务，回应称“不属实”｜独家

元宝月人均时长环比增34.1%

张朝阳：关注流是搜狐战略级产品，走真人社交差异化路线

国家发展改革委民营局围绕农业、制造业等领域向民营企业公开推介50个投资项目

协创数据：存储方面DDR非常短缺至少3年涨价趋势不变，最近报价已提高30%且被接受

宁德时代：授予2026年A股第二期员工持股计划预留份额

阿波罗全球管理第三季度资产管理规模升至1.07万亿美元，单季新增发起交易1140亿美元

东山精密：控股股东提议2026年度股东回报总额不低于10亿元

辉瑞任命Cecile Guegan为首席财务官

辉瑞第三季度营收165.83亿美元，上调全年营收及调整后每股收益指引

游族网络：子公司签署42.25亿元GPU产品采购合同

欧洲杠杆融资遇冷：一周内出现第二笔撤单，Iqony5.5亿欧元再融资告吹

多家券商中标第三次互换便利，数百亿资金将用来增持股票和股票ETF

扫描下载App