铠侠将展出XL1系列内存扩展模块,专为AI负载打造

描述

随着人工智能技术的快速发展,AI训练和推理任务对计算基础设施的要求越来越高,其中一个突出的瓶颈就是内存。模型越来越大,数据越来越多,传统的内存扩展方式在容量和带宽上都逐渐捉襟见肘。针对这一痛点,铠侠(Kioxia)宣布将展出全新的KIOXIA XL1系列内存扩展模块,这款产品支持CXL技术,专门为AI工作负载场景设计,有望给数据中心的内存架构带来新的解题思路。

先说说为什么AI场景对内存的需求这么迫切。现在的大语言模型动辄上千亿参数,训练时需要在内存里同时存放模型参数、中间计算结果和训练数据,对内存容量的需求堪称“无底洞”。推理场景也一样,为了让用户体验流畅,模型需要常驻内存,多个用户同时访问时,内存不够用就会直接拖慢响应速度。传统的做法是往服务器里塞更多内存条,但一台服务器的内存插槽有限,而且CPU直连内存的带宽也有限,堆到一定程度就加不上去了,成本还直线上升。

CXL技术的出现,为解决这个问题打开了一扇新门。CXL全称是Compute Express Link,可以理解为一种高速互联技术,它允许CPU和外部设备之间通过高速通道共享内存资源。简单打个比方,以前CPU只能用自己的“本地内存”,就像一个人只能用自己口袋里的钱;有了CXL,CPU可以调用外部扩展模块里的内存,相当于口袋里钱不够了,可以随时从旁边的钱包里取,而且取的速度很快,几乎感觉不到延迟。

铠侠的XL1系列正是基于CXL技术打造的内存扩展模块。它的核心思路很清晰:把大容量的闪存存储和高速缓存结合起来,通过CXL接口连接到服务器上,让CPU能像访问本地内存一样访问这个扩展模块里的存储空间。这样一来,服务器不用在物理上塞满内存条,就能获得远超物理插槽限制的内存容量,而且成本比全部用传统DRAM内存要低得多。

XL1系列特别针对AI工作负载做了优化。AI训练和推理的数据访问模式有自己的特点,比如模型参数读取频繁但写入少,中间计算结果需要快速暂存,数据访问的突发性强。铠侠在XL1的架构设计上考虑了这些特性,通过智能的数据分层和预取算法,把最常用的热数据放在高速缓存里,冷数据放在大容量闪存里,让AI任务在访问数据时,大部分时候都能命中高速缓存,体验接近全DRAM方案,但总成本大幅降低。

对于数据中心运营商和AI企业来说,XL1系列带来的好处很实在。首先是内存容量瓶颈被打开了,单台服务器能处理更大的模型和更多的并发请求,不用为了内存不够而被迫拆分成多台服务器协同工作,系统架构更简洁,运维也更省心。其次是成本可控,闪存的单位容量成本远低于DRAM,用XL1扩展内存比全部堆内存条划算得多,尤其是在内存价格高企的时期,这个优势更加明显。第三是部署灵活,XL1模块通过标准的CXL接口连接,不需要对现有服务器做大改造,插上就能用,降低了技术升级的门槛。

铠侠选择在此时展出XL1系列,时机也很有讲究。当前AI产业正处于爆发期,从互联网大厂到创业公司,都在抢购算力和存储资源,数据中心的建设成本压力不小。一款能有效降低内存成本、同时保持高性能的扩展模块,对市场的吸引力不言而喻。而且CXL生态正在快速成熟,越来越多的CPU厂商、服务器厂商和软件厂商加入支持行列,铠侠在这个节点推出产品,正好赶上了生态就绪的窗口期。

当然,XL1系列目前还处于展出阶段,从展出到大规模量产部署,中间还有一段路要走。但它的出现至少证明了一件事:在AI基础设施领域,内存扩展的技术路线正在变得更加多元,不再只有堆DRAM这一条路。对于整个行业来说,这种多元化的技术竞争是好事,它意味着未来AI算力的成本会继续下降,门槛会继续降低,更多创新应用有机会跑出来。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分