2026年,AI智算领域最热门的关键词是什么?
答案显然是超节点。
几乎所有的算力厂商,都在围绕超节点展开布局。大家已经形成共识:拼单卡算力的时代已经过去,系统级协同才是决胜关键。
超节点采用Scale-up紧耦合思路,高密度集成大量AI芯片,构建统一的高速计算域,确实是算力发展的必然选择。
整个行业在卷超节点,但卷的方向,正在发生微妙的变化。
9月23日,海外TPU推理优化团队Inferact开源了一套tpu-megakernels(面向TPU的巨型算子),用16颗谷歌TPU v7芯片把整个Kimi K3装进一个kernel(内核),配合DSpark投机解码,低并发Decode(解码)吞吐达到709tokens/s。
过去,大家卷的是“规模”——超节点芯片数量、显存容量、可承载模型参数量,是厂商相互PK的核心指标。
如今,业界对AI算力的评估焦点,变成了“速度”——大家都意识到,超节点不能只看堆卡规模,更要看Token速度。
国内厂商也在积极布局。不久前的2026人工智能计算大会上,浪潮信息甩出了自家最新的超节点——元脑 SD200 Ultra。在发布会上,他们提出的几个数字,吸引了业界的关注:
“SD200 Ultra单机紧耦合128颗本土AI芯片,单机最大支持10万亿参数模型,可原生运行2.8万亿参数Kimi K3大模型,单Token生成时延首破5.85毫秒。”
5.85毫秒,相当于单用户170Tokens/s,属于什么水平呢?
这么说吧,虽然目前业界还没有第三方的测评,但普遍来说,很多国产超节点在未优化的情况下,单用户Token输出速度往往在20Tokens/s左右。各个大模型的API接口,Token生成速度在60Tokens/s,国际领先水平性能会达到200Tokens/s(时延在5毫秒以内)。
SD200 Ultra已经是国产超节点的顶尖水平,是平均值的五倍左右。
那么问题来了,浪潮信息为何如此强调Token输出效率?不按常理出牌,究竟是出于什么考虑?他们又是如何做到这么快输出速度的?
接下来,小枣君就做一个深入解读。
█ 算力竞争进入全新阶段,Agent开启Token效率时代
浪潮信息之所以重点强调Token输出效率,核心在于对AI算力发展趋势的判断。
回顾AI算力的竞争,其实大概可以归纳为三个阶段:
首先,是最早期的单芯片性能竞争阶段。在这个阶段,行业重点研究如何提升单芯片算力、显存带宽和容量。单芯片的性能,是系统性能的重要基础。
后来,随着模型规模的不断扩大,单卡、单机已经无法满足需求。行业开始研究多卡、多机协同,以此打造更大规模的算卡集群。超节点属于紧耦合计算域,相当于将更多的卡“凝聚”为一台计算机,具有更强的性能。
在这一阶段,行业关注的是规模,也就是比拼超节点的芯片数量。
不过,在追求规模的过程中,大家已经发现,芯片之间的数据交换、同步和内存访问变得越来越复杂。通信开销、数据搬运和计算等待的问题,也变得越来越棘手。
系统整体算力很难随算卡数量线性增长,性能损失越来越大。互连、算子等等系统级的优化,也成为影响有效算力的重要因素。
算力供给侧遇到瓶颈的同时,算力需求侧也发生了变化。
随着时代的发展,AI浪潮从生成式AI时代进入到代理式AI时代,Agent成为主流业务形态,用户交互开始从一次性问答转向持续自主执行任务。
Agent是典型的长链路业务。它拆解目标、生成方案、调用工具、读取返回结果,然后推理迭代,如此多轮循环、持续思考。
在Agent的多轮循环中,每一次工具调用和结果读取,都伴随着Token的生成与消耗。如果出词速度(Token/s)依然停留在二三十的“打字机”水平,不仅长链条思考会让业务流程彻底卡死,极低的有效算力利用率(MFU)更会直接击穿大模型厂商的商业盈利底线。
说白了,大量算力浪费在等待Token输出、反复数据搬移与通信阻塞上,硬件峰值算力再高,也无法转化为可落地、可盈利的智能生产力。
基于以上背景,浪潮信息提出了独特的Capability&Capacity算力供给理念。
他们指出,Agent时代的AI计算正在形成两个同样重要的发展方向:
Capability AI Compute,即能力型智算,支撑突破智能上限,让AI帮助人类探索未知、解决过去解决不了的问题。
Capacity AI Compute,即容量型智算,实现智能充分供给,让高水平智能越来越丰富、越来越经济、越来越易于获取有。
简答来说,Capability决定AI能飞多高,Capacity决定AI能飞多远。前者是突破上限的“尖刀”,后者是普惠落地的“基石”。
站在Capability的角度来说,面向市场推出的超节点产品,必须具有足够强的能力,来满足用户运行前沿大模型的需求,应用于科研创新、商业决策和数据处理等具有挑战性的场景。
超节点走入公众视野已经有比较长的时间,但此前圈内厂商们在宣传超节点的时候,有意无意地都会将规模作为要点,但很少提及速度。因为如前面所说,规模扩张势必会带来效率瓶颈。
浪潮信息将速度放在最高优先级,是真正避虚就实,点出了问题的关键——一款好的超节点产品,并不是看能连接多少芯片,而是看新增芯片能否持续贡献有效算力。
尽可能提升计算扩展率,比盲目“堆卡”更有意义。只有让这些芯片形成更加紧密的整体,才能发挥极致效能,让每一分投资都发挥价值。
元脑SD200 Ultra的整个设计,就是围绕这个理念展开的。
SD200 Ultra相比去年的SD200,首先在芯片上进行了升级,从64芯扩展为128芯。算力直接double(翻倍),显存也直接double,单机就能支持到8T的GPU显存,能够跑Kimi K3(2.8万亿参数)这样的领先开源模型。未来一两年,顶尖大模型会进入到10万亿参数时代,SD200 Ultra也完全可以应对。
SD200 Ultra带来了远超行业均值的Token输出效率,为用户提供了快速响应的智能供给,可以让用户放心大胆地拥抱Agent应用。
这种性能强大的Capability AI,也为Capacity AI容量型智算的普惠落地打下了基础。
浪潮信息首席AI战略官刘军的原话很直白:“今天的前沿能力,就是明天的普惠基础。”
█ 架构创新+超级算子,打造极速智算底座
接下来,我们就从技术的角度,看看SD200 Ultra是如何实现高Token输出速度的。
我们先看影响Token输出速率的主要原因是什么。
以全球最大开源模型Kimi K3为例。
这个模型总参数量2.8万亿、激活参数量104B,权重文件约1.56TB。普通的AI服务器,GPU显存连权重都装不下,更别提百万Token上下文。因此,官方推荐扩展到64卡甚至更大规模才能装得下。
即使装得下,对算力系统显存带宽与节点间通信要求也极高。
据SemiAnalysis的分析,K3每执行一次前向计算,仅HBM带宽需求就高达约1.5TB。896个专家需要分布到多卡上,每次前向传播触发超过120次All-to-All通信。
这意味着,规模越大,如果互连带宽和延迟跟不上,大量算力就会被浪费在等待多卡之间的数据搬运上。
一般来说,未经优化的超节点跑Kimi K3,初始性能可能仅在10 tokens/s左右。
大模型推理,通常经历预填充(Prefill)和解码(Decode)两个阶段。
预填充,集中处理输入,计算密集、数据成块,通信开销可以被大量计算摊薄。
而解码则不同。解码阶段,逐个Token生成输出,每一步的计算量有限,通信与同步的固定开销无法被摊薄,通信时间在单Token生成时间中的占比随之显著上升。
因此,解码效率,直接决定了整个推理系统的效率。
集群规模越大,通信链路都会越长、参与同步的节点会越多。在解码阶段,计算颗粒度细、通信频率高,集合通信和跨节点同步会持续放大通信开销。
当通信时间、尾部延迟和调度成本逐步抵消新增算力的收益,Token吞吐的边际提升就会趋缓——规模在扩张,效率却未必同步增长。
所以,我们可以看出,想要提升Token输出效率,关键在于打通“任督二脉”,大幅提升通信链路能力,缩短通信时间,消除尾部延迟,降低调度成本,进而提升解码效率。
浪潮信息所采用的技术创新解决方案,主要包括两个方面:
第一,独创Co-Fabric紧耦合架构,重塑芯片互连底座。
超节点,说白了,关键在于芯片之间的互连技术。英伟达的NVL72,还有华为的昇腾950,前者通过NVLink实现高带宽域内互连,是PCIe基础上创新。后者则依托自研灵衢总线构建紧耦合拓扑,是以太基础上的改良。
NVLink和灵衢都面向特定芯片。作为浪潮信息这样的厂商,面向多类算力是必然选择,所以,他们必须走一条更通用、更开放的互连路线。
他们给出的解决方案,是打造一个包括互连协议、系统架构、底软、通信库等软硬件协同技术体系的全新架构。这个架构,就是Co-Fabric。
Co-Fabric是深度改进的一种总线协议,参考了PCIe物理层基础。它把计算域总线范式从 xPU 域扩展到覆盖全部系统资源(计算、存储、网络与管理),纳入单一互连网络。
Co-Fabric架构
通过提供跨主机域的统一寻址、具备Load/Store语义的原生P2P通信以及精简的协议栈,Co-Fabric构建了一个统一的数据搬运平面,打破主机域边界,最大化整个超级节点端到端的数据搬运效率。
Co-Fabric的第一个特点是统一访存。
Co-Fabric继承了总线架构的核心优势——原生内存语义它通过首创的“影子设备自动枚举”机制,为整个超节点构建了一个全局统一的平面地址空间。
无论这些AI芯片物理上分布在哪个服务器节点,对于系统和开发者而言,它们都被统一映射为本地可见的虚拟设备。芯片可以直接使用最底层的Load/Store指令跨域读写远端显存,彻底免除了传统以太网繁琐的显存注册与多层地址转换开销。
统一寻址
Co-Fabric的第二个特点是精简协议。
为了在跨域扩展时依然保持极速,Co-Fabric对网络协议进行了“极致瘦身”。针对传统以太网沉重的传输层和网络层影响传输速度和数据完整性的问题,Co-Fabric通过物理、链路、Fabric和语义四层精简协议栈,减少不必要的协议处理环节,提升数据传输效率与端到端通信性能。
其Fabric层利用数据包头部嵌入的端口标识符进行硬件级路由,数据包可以直接在交换机硬件层面完成跨域投递,完全绕开主机CPU和网络协议栈。
四层精简协议栈
更关键的是,Co-Fabric在链路层原生支持基于信用(Credit-based)的流控和重传机制,将节点间可靠传输的延迟压缩至纳秒级。
Co-Fabric的第三个特点是开放架构。
Co-Fabric具有极高的开放性。它将计算、存储、网络资源统统纳入同一个互连域,支持超节点从数十卡弹性扩展至千卡规模。
元脑SD200 Ultra,就是基于Co-Fabric创新的完美产品落地。
它采用3D Hyper Mesh架构,把128芯AI芯片纳入同一个高速互连域,构建原生内存语义通信网络,All to All通信时延最低到0.69微秒,大幅削减芯片之间数据交互开销,让上百颗芯片协同工作如同单颗芯片,为高速Token生成搭建底层硬件通道。
3D Hyper Mesh架构
SD200 Ultra通过全局统一编址、虚拟影子设备注册、跨域地址翻译,构建统一地址空间,搭配对称内存对等互连技术,AI芯片可以像访问本地显存一样直接读写远端芯片显存,直接发起P2P访问,省去消息打包、缓冲区中转、多层地址转换等一系列开销,AllReduce通信时间降低3.5倍。
在成本和功耗方面,SD200 Ultra直接摒弃了昂贵的以太网卡和以太网交换机,采用纯硬件Retimer配合Co-Fabric交换芯片以及短距被动铜缆连接。这使得互连网络本身的硬件成本暴降约80%,功耗也降低了约5%。
这种设计减少了光电转换环节,也降低了链路故障引发任务中断的风险,可以支撑长程Agent任务稳定运行,实现极佳的系统ROI(投入产出比)。
第二,超级算子叠加AI自优化,实现全流程Token提速。
元脑SD200 Ultra在算子优化上,也进行了大胆创新。
传统推理框架由大量细碎的基础算子串行执行,每一次算子启动都带来调度开销、HBM内存访问开销。算子间高频切换产生的启动延迟,在HBM带宽上留下了大量白白浪费的“空泡(bubble)”。
元脑SD200 Ultra通过使用Kimi K3构建超级算子智能体,实现通算融合、Tile级流水的超级算子,将KDA、Gated MLA、MoE中的众多基础算子融合为计算与通信协同执行的大算子,算子数量降低10倍,大幅减少算子启动次数和HBM访问开销,隐藏通信延迟,消除“空泡”,提升GPU整体执行效率。
超级算子
通过“K3优化K3”的思路,他们实现了Kimi K3在元脑SD200 Ultra上的推理性能提升3倍以上,从计算层压缩Token生成时延。
以上系统级技术创新,真正把硬件峰值算力转化为真实可用的推理有效算力,拉高算力有效利用率(MFU),让高Token速度从理论指标变成稳定可运行的业务能力。
对于用户来说,他们关心的是体验,而Agent时代下,体验的最重要落点是Token生成速度。它直接决定了智能体交互的流畅度与自然感。
浪潮信息聚焦用户需求,将多年的技术积累转化为产品创新,为用户提供了可感知的体验提升。这个方向显然是正确的,值得点赞!
█ 结语
超节点的风向已经转变:从比拼硬件堆叠规模,转向衡量系统能否稳定、高效、低成本持续生产Token。
Agent时代,算力的价值不再看芯片的纸面峰值,而看能不能顺畅跑完长链路智能任务。浪潮信息对超节点性能跑分的公布,值得整个行业认真审视和参考。
AI浪潮仍在继续,超节点技术也将持续迭代。我们期待超节点在算力利用效率、互联带宽、能效比等维度不断突破,也期待更多系统级创新从“实验室指标”走向“规模化生产环境”,真正驱动人类加速迈向AGI时代。