单芯片性能不抵拓展性，数据中心的交换矩阵

电子发烧友网报道（文/周凯扬）在现代数据中心架构中，网络和计算设备都部署在两层甚至三层的互联矩阵中，与传统的多层架构不同，数据中心的交换矩阵促成了服务器架构的扁平化，进一步缩短了数据中心内不同端点之间的距离，提高效率的同时，也降低了延迟。
 
可以说交换矩阵技术决定了数据中心的扩展性，相较传统的网络交换矩阵而言，如今的复杂计算交换矩阵，也就是我们所说的芯片外互联技术，更是提高算力的重要解决方案之一。
 
英伟达NVLink和NV Switch
 
与其他公司采用的通用交换矩阵技术不同，英伟达凭借其在互联交换技术上的积累，再结合收购Mellanox获得的技术，为其GPU产品打造并迭代了NVLink和NVSwitch技术。
 
以目前的英伟达GPU服务器集群为例，集群内的GPU通过NVSwitch交换机，以NVLink来实现互相通信。如今NVLink技术已经发展至第五代，NVSwitch也已经发展至第四代NVLink Switch。
 
随着GB200的出现，英伟达已经实现了单Blackwell GPU支持18个NVLink连接的可拓展性，也使得总带宽达到了1.8TB/s，是第四代NVLink技术的两倍，更是远超PCIe 5.0。
 
单个GB200 NVL72服务器更是可以集成72个GB200 GPU，依靠NVLink Switch实现130TB/s的总带宽，这样的可拓展性对于提高现在的大模型训练规模和速度来说尤为重要，NVL72就可以普遍用于训练万亿参数级别的大模型。
 
AMD Infinity Fabric
 
虽然很多AI加速器初创企业或英伟达的竞争对手，都会鼓吹单个GPU或加速器的性能本身，但如果不能从扩展性上缩短差距，也很难被云服务厂商和数据中心大规模商用。以英伟达的老对手AMD为例，他们的MI300系列在交换矩阵的支持上由128链路组成，其中64个支持PCIe 5.0和自研的Infinity Fabric，另外64个则仅支持Infinity Fabric。
 
在单芯片或单个服务器上的性能可能会更加优异，但一旦扩展至数百个服务器的规模下，就很难继续保持优势了。AMD也很清楚自己需要缩小这一差距，但仅仅依靠自身在Infinity Fabric交换矩阵上的积累，很难打通整个生态，所以AMD选择了合作开放一途。
 
早在去年AMD的Advancing AI大会上，AMD就宣布向生态合作伙伴开放自己的Infinity Fabric IP（XGMI），呼吁别的交换芯片厂商对Infinity Fabric加以支持。比如博通就表示，其下一代PCIe交换芯片，除了支持PCIe、CXL之外，也将支持AMD的Infinity Fabric。
 
然而这里指的并不是今年下半年才送样的PCIe 6.0交换芯片，Atlas 3系列，而是PCIe 7.0的Atlas 4系列。由此看来，要想真正见到第三方交换矩阵方案支持AMD的Infinity Fabric，还得等到PCIe 7.0正式面世。
 
写在最后
 
对于市面上其他的AI加速器而言，开放标准或已有的商用标准是他们的最好选择，比如PCIe、CXL等等。除此之外，据了解一些与缓存一致性相关的专利即将过期，或许对于一些初创公司来说，未来会有开源的高端交换互联方案供他们选择。