AI加持下的数据中心，需要怎样的高速接口技术？

（电子发烧友网 文/黄晶晶）无疑生成式AI的火热带动了互联网厂商、运营商、云服务商以及各类应用方等对数据中心、AI服务器的大力投入。同时，像中国的“东数西算”工程正构筑着坚实的算力基建。为了适应大数据、人工智能的发展，必须要解决如何增强算力、存力和运力的问题。那么高速的数据传输是不可缺少的核心环节。在此背景下，我们需要前瞻布局哪些数据传输的接口技术来适应发展呢？最近，Rambus 解决方案营销高级总监Tim  Messegee接受采访，分享了他对于数据中心高速接口技术和市场的洞见。
 

图：Rambus 解决方案营销高级总监Tim  Messegee
 
Tim Messegee表示，总体上，新数据中心的架构设计应考虑到性能、可扩展性、可靠性和安全性，满足生成式AI和大数据应用的具体需求。新数据中心首先需要配备高性能计算（HPC）基础设施来满足生成式AI和大数据应用的密集计算需求，比如使用功能强大的处理器、GPU、内存、网络、专用硬件加速器等高效处理大量数据并执行复杂计算。
 
新数据中心架构的设计应该使内存、存储等易于扩展。例如，CXL技术可以帮助建立内存池，从架构上将CPU和内存分离，不仅能够共享内存，还能在性能需求日益增加的情况下更加轻松地增加内存。
 
突破数据传输的瓶颈
 
业界一直都存在“内存墙”的问题，其根源还是数据传输的速率性能瓶颈。Tim  Messegee说道，与“木桶定律”中的例子一样，限制数据中心数据传输速率的元素不止一个，而是所有相关元素的性能。显然，解决这一问题需要强大的 CPU、高速内存、高带宽网络以及许多其他方面的支持。
 
实际上大家都不希望自己是最短板的那一块。而以Rambus来看，其擅长的是提供先进内存接口芯片和接口IP解决方案帮助满足数据中心对带宽不断增长的需求。对此，Tim  Messegee进行了解析。
 
具体来看，DDR5 DIMM芯片组：Rambus DDR5内存接口芯片组由 DDR5 RCD、SPD Hub 和温度传感器组成，专为满足最新一代DDR5内存系统的大容量、高带宽性能要求而量身定制。这些芯片使服务器和客户端计算系统能够处理最苛刻的工作负载和应用。
 
CXL技术：CXL可使数据中心从原来每台服务器拥有专用的处理和内存以及网络和加速器等其他资源的模式，转变为使用共享资源池的分解模式，共享资源池可根据特定工作负载的需求进行高效组合。
 
PCIe 6接口子系统IP：PCIe 接口是在 CPU、GPU、FPGA 和特定工作负载加速器等不同计算节点之间以高带宽和低延迟传输数据的关键骨干。Rambus PCIe 6解决方案支持下一代数据中心的性能要求，具有延迟、功耗、面积和安全性方面的优势。
 
HBM内存控制器：HBM是一种高性能内存标准，具有功耗低、外形小的特点。Rambus HBM 3.0和2E/2控制器可为AI/ML、图形和HPC应用提供高带宽、低延迟的内存性能。
 
新的接口技术何时落地
 
以上列举了几种应用于数据中心的先进的接口技术，包括DDR5、PCIe 6.0、HBM、CXL等。然而它们有各自的应用进程。
 
首先是DDR5。Tim  Messegee表示，DDR5内存已于2021年进入市场。我们现在看到服务器和PC市场都在使用DDR5内存。根据IDC的预测，DDR5的跨越点，即DDR5位出货量超过DDR4位出货量的时刻将在2023年底出现。随着时间的推移，DDR5有望在数据中心和消费市场得到更广泛的应用。
 
其次，PCIe在服务器和PC之外也得到了广泛应用，其规模经济效益使其对物联网、汽车等领域以数据为中心的应用极具吸引力。尽管如此，PCIe 6.0的初期部署将针对需要尽可能高带宽的应用，这些应用都是数据中心的核心，如AI/ML、HPC、云计算、网络等。Tim  Messegee预计第一代PCIe 6.0系统将在2026年问世。
 
再者，HBM正在成为超级计算机的首选内存。市场对AI/ML的需求推动了 HBM 在数据中心的广泛应用。如今，英伟达推出的H200 GPU以及GH200超级芯片开始配备141GB HBM3E。HBM的发展大致以两年为一个周期，技术还在不断演进当中。
 
此外，随着CXL标准从1.0发展到 3.0，行业头部厂商正在积极支持CXL。Tim  Messegee说，要真正在市场上得到广泛应用，可能还需要一段时间。可以肯定的是，由于CXL的特性，最早采用这项技术的将是那些需要最高带宽、最低延迟和多设备一致性的应用。目前，我们预计CXL将于2026年在数据中心得到广泛应用。
 
诚然，特定技术的应用周期取决于多种因素，包括市场需求、软硬件生态、成本和性能优势等。Tim  Messegee指出，一般来说，内存和总线技术升级通常需要更长的时间，这是因为它们需要与整个生态兼容，而且所有相互连接的软硬件元素都需要时间来验证和检验。因此，一项技术的采用情况会因技术特性、复杂程度和市场需求而异。总之，随着数据中心建设的加速，DDR5、PCIe 6.0、HBM和CXL等高速连接技术将在未来几年继续发展和普及，但其采用率可能会因技术和细分市场的不同而有所差异。
 
观察市场的反馈，Tim  Messegee看到的趋势是，许多为数据中心开发的技术正在向客户端扩散。AI推理向边缘以及AI赋能的客户端和终端系统转移，这一趋势将继续加速。我们的IP解决方案可以集成到客户端系统的芯片中，我们的产品路线图上有支持未来客户端平台的Rambus芯片解决方案。
 
小结：
 
AI大模型的参数量越来越庞大，内容形式也越来越丰富，随着数据中心工作负载的增加，DDR、HBM、PCIe和CXL等内存技术将继续为数据中心提供更高容量、更低延迟和更高能效的数据传输速率以满足不断增长的算力需求。同时，Rambus也希望通过内存解决方案的不断改进总体上为提高数据中心的整体能效带来真正的机会。