存储技术
(文章来源:网络整理)
云世界正在出现一类新的存储系统。在概述这种新兴的存储系统与现有存储的区别之前,我们将回顾广泛的行业趋势和云数据中心要求。以数据为中心:随着应用程序处理高带宽数据流,它们变得越来越以数据为中心。传统的x86服务器在处理此类工作负载方面效率低下。
异构计算:异构计算正变得司空见惯。除了传统的x86服务器,GPU,ASIC,FPGA和推理引擎的使用也大大增加。高速网络:公有云已移至100Gbps网络,企业很快也会这样做。新的存储结构:结构上的NVMe(NVMeoF)已成为将共享的高性能存储系统连接到服务器的新标准。这使得分类存储的性能几乎无法与本地存储区分开。
新的存储层次结构:热门数据主要存储在SSD中,因为它们的价格迅速下降。HDD的使用仅限于冷数据。安全性:安全威胁正在加剧。此外,多个租户希望在云中隔离数据。工作负载多样性:云数据中心同时运行许多租户的许多不同工作负载。因此,存储系统需要能够支持广泛的性能和耐用性要求。
SKU激增:工作负载的多样性会导致服务器SKU激增,因为每个工作负载都需要一台服务器,其服务器的核心类型和数量,内存大小,本地和远程存储,GPU数量以及网络连接可能有所不同。例如,AWS支持200多种实例类型。不可预测的性能:如果延迟不可预测,则许多云应用程序将无法使用。他们期望即使在网络利用率很高的情况下也能保持一致的延迟。
搁浅的资源:如果一台服务器没有足够的本地存储,而另一台服务器拥有的资源过多,则使用本地存储会导致资源搁浅。低效率的I / O处理:传统的x86服务器在处理I / O方面效率低下。典型服务器的一半核心用于I / O。只有其余的可用于客户工作负载。鉴于上述趋势和挑战,云数据中心需要一种新型的存储。
该存储系统支持NVMeoF,特别是使用基于以太网的IP。与当前的企业或云存储不同,这可以使远程块存储与本地存储一样快(文件服务可以建立在快速块存储之上)。使用远程存储来模拟本地存储可以减轻对使用不同本地存储选项支持服务器SKU的需求。由于所有资源都可以远程池化并可以分配给任何服务器,因此它也消除了资源滞留的问题。
为了获得一致的性能,即使网络扩展到数百个机架并且利用率很高,网络和存储系统也必须支持低尾部延迟。这要求使用可以支持低尾部延迟的新型传输协议,还需要使用SSD中新兴的功能,例如可预测的延迟模式。对于大型或高度拥塞的网络,当前的企业和云存储系统无法维持较低的尾部延迟。
存储系统需要支持多种工作负载和多租户。对于存储系统暴露的每个卷,应该可以分别指定所需的耐用性级别。同样,必须为每个卷支持最低性能保证。最后,应该可以使用不同的密钥对每个卷进行加密。
相反,当前大多数企业和云存储系统对所有卷都支持一种级别的持久性。存储系统必须能够支持线速加密和压缩。随着多租户云中不断增加的安全威胁级别,必须同时支持网络加密和静态加密。典型的企业系统无法支持数百Gbps的线速加密。此外,企业和云存储系统都通常不支持高速在线压缩。
存储系统必须能够横向扩展。这有几个含义:首先,与企业存储系统不同,单个存储节点的设计不具备高可用性。相反,该系统旨在处理组成存储系统的一个或多个节点的故障。节点和SSD故障恢复应该非常快。其次,数据保护编码方案(EC或RAID)必须跨高性能存储节点(而不是跨存储节点运行)。很少有企业存储系统具有此功能。当EC打开时,仍然有可接受的性能。大多数企业和云存储系统都关闭EC,或在后台关闭EC,以避免性能下降。
最后,存储必须扩展到数千个节点。为此,必须将存储系统设计为将数据平面和控制平面分开。这是在网络中称为SDN的概念,但它是存储的新概念。我们不知道有任何将数据平面和控制平面分开的企业存储系统。由于x86在处理以数据为中心的工作负载方面的限制,可能需要部署更新的I / O处理器来构建这些存储系统。
(责任编辑:fqj)
全部0条评论
快来发表一下你的评论吧 !