川海智库

报告概述

本白皮书系统阐述了超节点这一面向AI大模型的新型算力架构。研究对象聚焦于如何通过高速互联协议与专用交换芯片，将数十至数百颗GPU整合为统一编址、低延迟、高带宽的协同计算系统。报告覆盖从芯片算力与互联协同、单体超节点（Nebula）与集群超节点（Nebula Matrix）的硬件设计，到以超节点为核心的AI工厂构建路径。采用系统级协同设计框架，重点分析了OEX正交无背板互联架构、液冷与高压直流供电方案、Scale-Up/Scale-Out融合网络，以及软件栈与算力仿真平台。读者可通过本报告理解超节点在提升算力密度、降低TCO、实现从项目到工厂范式转变中的核心价值，为智算基础设施建设提供技术参考。

报告的核心结论

超节点通过高速互联整合多GPU为统一计算单元，显著提升算力密度

报告指出，传统GPU堆叠因通信开销和利用率瓶颈已无法满足万亿参数模型需求。超节点利用高带宽域（HBD）技术，将数十至数百颗GPU逻辑整合，实现类单机编程体验。通过均衡芯片算力、显存与互联带宽，有效提升MFU，降低综合成本。

OEX正交无背板架构是单体超节点信号完整性与可靠性的关键创新

中兴通讯提出的OEX架构通过正交连接器实现计算与交换托盘的垂直交叉互连，消除线缆引入的插损，链路长度缩短30%以上，误码率降低。该设计还支持液冷、高密度集成，并已入选ODCC重大技术突破案例，开放规范以促进国产化生态。

液冷与高压直流供电是支撑千兆瓦级AI工厂的必选技术

随着单芯片功耗从700W向2000W演进，机柜功耗从50kW迈向600kW甚至更高，传统风冷与48V供电已达物理极限。报告指出单相冷板液冷为当前主流，硅基微通道、两相冷板和浸没式液冷将逐步应用；HVDC架构（±400VDC或800VDC）可降低电流8-16倍，提升效率3%-5%，是未来趋势。

Scale-Up与Scale-Out融合设计可显著降低集群超节点TCO

面对大模型对HBD域规模的需求，报告认为机柜间采用光互联+交换芯片可实现电交换与光互联融合，统一承载所有AI通信。这种融合架构相比独立组网，能消除leaf交换机、光模块等成本，提升部署平滑性，在2K卡规模下256卡超节点比8卡服务器性能高15%。

AI工厂范式推动智算从项目型交付转向标准化自动化生产

报告提出以超节点为核心的AI工厂，通过全栈软硬协同，将数据输入高效转化为Token输出。其核心理念包括：物理层构建高性能模组，系统层实现软硬件垂直优化，架构层采用模块化组装与数字孪生仿真。这种范式缩短上线周期，支持弹性扩展，优化TCO，降低集成风险。

报告回答的关键问题

什么是超节点？它解决了什么核心问题？

超节点是通过高速互联协议与专用交换芯片构建的高带宽域，将数十至数百颗GPU整合为统一编址、低延迟、高带宽的协同计算系统。它解决了传统分布式训练中因单芯片物理极限导致的算力增长边际效益递减问题，通过系统级协同实现算力密度跃升和成本降低。

中兴通讯OEX正交架构相比传统Cable Tray方案有哪些优势？

OEX架构通过计算与交换托盘的正交无背板互联，消除线缆引入的信号损耗，链路插损余量大于3dB；同时提升集成密度、可靠性和可维护性，MTTR从小时级缩短至分钟级；还可省去参数面leaf交换机、光模块和光纤，降低组网成本。

未来AI工厂对液冷和供电技术提出了哪些新要求？

随着超节点机柜功耗向百千瓦乃至兆瓦级演进，液冷从可选变为必选，单相冷板液冷需向硅基微通道、两相冷板及浸没式液冷升级。供电方面，48V已逼近极限，HVDC（±400VDC或800VDC）成为趋势，可降低电流8-16倍，提升端到端效率3%-5%，支撑兆瓦级部署。

如何构建以超节点为核心的AI工厂？

AI工厂构建分三步：首先利用OEX架构构建高性能单体超节点；其次通过光互联+交换芯片扩展为集群超节点，并融合Scale-Up/Scale-Out网络；最后引入软件栈（集群管理、智能调度、算力仿真平台）实现资源池化、通信优化和故障自愈。算力仿真平台可提前推演最优配置，降低试错成本。

超节点技术对不同规模的大模型训练性能提升有多大？

以Qwen3-235B模型为例，在2K卡规模下，256卡超节点相比8卡服务器训练性能提升15%，主要得益于MoE算力强度随EP增加而提升。但收益存在边际效应，当超节点规模达64卡以上时性能趋于一致。对于DeepSeek-671B推理场景，同样观察到类似规律。

报告中的代表性数据

130 TB/s

NVL72超节点内GPU间互联总带宽

基于英伟达Blackwell架构，报告指出英伟达NVL72超节点内单卡NVLink双向带宽1.8 TB/s，72卡总互联带宽达130 TB/s。

从700 W跃升至接近1400 W，未来2-3年将突破2000 W

单芯片功耗演进

过去几年至未来2-3年，报告以英伟达GPU为例说明功耗增长趋势，H100约700W，GB300约1400W，预计2027年将更高。

256卡超节点相比8卡服务器训练性能提升15%

集群超节点性能提升

以Qwen3-235B模型在2K卡规模下，报告通过算力仿真平台分析，256卡超节点最优切分下比8卡服务器性能高15%，64/128/256卡之间性能基本一致。

以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 详细阐述超节点四大核心前提：芯片能力均衡性、互联架构有效性、内存访问便捷性、架构扩展原生性，并分析GPU/CPU芯片演进方向。
  • 深入对比PCIe与以太网物理层在Scale-Up场景下的性能差异，以及NVLink、UALink、ESUN、CLink等互联协议生态格局。
  • 完整介绍统一内存编址与在网计算（All-Reduce、MoE Multicast/Reduce卸载）的原理与收益，包括带宽节省、尾时延下降等量化指标。
  • OEX正交架构的工程化验证细节，包括信号完整性测试数据、ODCC立项进展、开放规范与第三方兼容性认证方法。
  • 液冷与供电章节：分单相冷板、硅基微通道、两相冷板、浸没式液冷的技术原理与适用场景；HVDC架构（OCP Diablo 400、NVIDIA 800VDC）的演进路线与工程化挑战。
  • Nebula X32/X120单体超节点至Nebula Matrix X256/800/8192集群超节点的扩展路径，包括电交换+光互联与光交换+光互联的技术对比。
  • Scale-Up/Scale-Out融合网络设计原则，机柜间互联收敛比对性能和TCO影响的模型测算。
  • 软件栈深度解析：集群管理（统一虚拟化、通信优化、异构调度、可观测性、冗余机制、算电协同）、Turbo集群调度（PD聚合/分离架构、Chunk Prefill、MTP、EPLB等优化）、算力仿真平台对Qwen3-235B和DeepSeek-671B的训练/推理性能仿真结果。
  • AI工厂的四层商业价值分析：缩短上线周期、架构平滑演进、优化TCO、降低集成风险，并附案例说明。
  • 中兴通讯全栈能力介绍：自研交换芯片与SerDes、复杂架构设计经验、全球工程交付网络、标准引领（ODCC/CLink）与开源开放（Co-Sight协议）。

本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。

相关报告