在GEN5 NVME硬盘下RAID的性能比较

我们已经多次查看 Graid SupremeRAID 卡和软件，并且对 Graid 所实现的极端存储性能印象深刻。 传统的硬件和软件 RAID 在性能方面都有很大的不足，这为 Graid 带来更好的解决方案。 随着 Gen5 SSD 的批量出货，我们组装了一台装备精良的服务器，看看让闪存飞起来会发生什么。

为什么选择 Graid SupremeRAID 与硬件 RAID比较？

Graid 解决方案包含两个核心元素：GPU 和软件定义存储 (SDS) 堆栈。 与 RAID 卡一样，GPU 将大部分硬盘管理和数据保护任务从 CPU 中分离出来，从而将 CPU 腾出来来运行应用程序。 然而，与 RAID 卡不同的是，SupremeRAID 的效率要高得多。 它直接通过 PCIe 总线对驱动器进行寻址，无需额外的布线或复杂的机箱配置。 由于 GPU 比 RAID 卡的 ASIC 更具动态性，因此 Graid 的性能扩展得到了极大的提高。

当查看服务器内出现瓶颈的位置时，扩展优势立即显而易见。 当前的 RAID 卡仅限于 Gen4，最高可达 28GB/s。 四个的 Gen4 SSD 可以使单个 RAID 卡饱和。 该系统需要多个 RAID 卡才能利用 24 盘位服务器中的所有硬盘达到其最快的速度。 另一方面，SupremeRAID 可以在单个系统中支持 32 个驱动器，并且没有 PCIe 插槽带宽限制。

随着每一代接口的飞跃，硬件 RAID 的性能问题变得更加复杂。 为了支持 Gen5 SSD，需要新的硬件 RAID ASIC。 但即便如此，硬件 RAID 仍将面临与上述相同的扩展问题。 SupremeRAID GPU 目前使用 Gen4 接口，公平地说，这目前只是 Intel/AMD/NVIDIA 的问题。 但这并不能阻止它释放 Gen5 硬盘的性能。 这意味着高达 260GB/s 和 28M IOPS 的性能水平。 当 Gen5 GPU 上市时，Graid 可以进一步提高 IOPS 数字。

关于 Graid GPU 的最后一点：今天，它们的大部分实现都在 SR-1010的 产品，利用 NVIDIA A2000 GPU。 我们提出这一点是为了指出，Graid 不需要为 SupremeRAID 配备昂贵或难以找到的 GPU，也不需要使用具有外部电源的 GPU。 如果出于某种原因，用户更喜欢备用卡，Graid 的软件几乎可以在我们在实验室的 A2 上测试过的任何 NVIDIA 芯片上运行，并获得出色的结果。 无论如何，GPU 都很容易安装，并且不需要额外的电池。

为什么选择 Graid SupremeRAID 与 软件 RAID的比较？

由于早期 NVMe RAID 卡的成本、复杂性和中等性能，软件 RAID 近年来迅速发展。 当我们需要一种快速、简单的方法来将 NVMe SSD 组合在一起并在线时，我们就部署了 Windows 存储空间、Linux MD 或 ZFS RAIDZ。 但与任何不使用硬件加速的存储软件一样，也是有成本的。 主机 CPU 必须运行驱动器管理和数据保护，从而占用应用程序的周期。 Graid 基于 GPU 的产品没有此限制，可确保服务器上的存储和应用程序实现最佳性能。

此外，对于软件 RAID，操作系统的选择限制了选择。 Graid 几乎可以在任何东西上运行，包括超过六种 Linux 发行版和 Windows。 公平地说，与软件 RAID 相比，Graid 的运行难度稍大一些； 系统中必须安装 GPU，而额外的工作量可以说可以忽略不计。 然而，回报是惊人的，正如您将在下面看到的那样。 我们谈论的是 SupremeRAID 比软件 RAID 有着数量级的差距。

Grid SupremeRAID Gen5 性能

对于此测试，我们将 Supermicro AS-2125HS-TNR 服务器与两个 AMD EPYC 9654 CPU、384GB DRAM 和 24 个 3.84TB 组合在一起 KIOXIA 的 CM7-R Gen5 SSD.

我们将硬盘配置为 软 RAID 和 Graid 的 RAID5 配置。 对于条带大小，我们为 Graid 使用 4K 条带，为 mdadm（软RAID） 使用 4K、64K 和 512K 块来做测试。 软件 RAID 需要改变块大小，才能在优化配置中显示峰值 4K 传输速度，并在最佳状态下显示峰值大块带宽。 这对于 Graid 来说并不那么重要，它可以处理不同的块大小而不会影响性能。

服务器：超微 AS-2125HS-TNR
CPU：2 个 AMD EPYC 9654 96 核处理器 x 2
内存：24 个三星 M321R2GA3BB6-CQKVS DDR5 4800 MT/s 16GB x 24
NVMe 驱动器：24 个铠侠 CM7-R 3.84T KCMY1RUG3T84 x 24
RAID 控制器：SupremeRAID SR-1010
SupremeRAID Driver: 1.5.0-659.g10e76f72.010
Linux 操作系统：Ubuntu 22.04.1 LTS

比较软件 RAID 和 Graid 的性能令人大开眼界。 就峰值带宽而言，我们最终在评估期间将 mdadm 块大小从 4K 增加到 64K 和 512K，因为在 4K 时，峰值读取带宽较低。 Mdadm 总体来说不是很好，但最高的顺序读取速度是在 64K 块大小中，测量为 279GB/s，与 Graid RAID 配置的速度相匹配。 在64K块大小的情况下，是软RAID最快的速度配置，软 RAID的顺序写入性能最高可达3.51GB/s，尽管这与Graid的148GB/s相比根本不算什么。

比较64K 的大块随机写入传输速度时，软件RAID 的速度范围为 627MB/s 到 822MB/s，而 Graid 则将其从水中脱颖而出，测量为 30.2GB/s。

最后，在随机4K传输速度方面，我们在4K块大小时测量了最高的软RAID性能，在延迟时间为1.1ms时测量了5.6M IOPS。在同样的测试中，Graid的IOPS达到了令人印象深刻的28.5M IOPS，延迟时间仅为0.22ms。4K写速度的测试中软RAID在64K块上显示出最佳的性能，即在延迟时间为15.01ms下测量到205k IOPS，而在GRAID的测试中测量2.02M IOPS延迟时间为 1.52ms。

总结

我们已经测试过了几乎所有现代实现 RAID的解决方案 ，从专用硬件卡到各种基于软件的解决方案。 我们还在三种不同的 GPU 以及各种 SSD 介质类型和 NVMe 接口上多次测试了 Graid 解决方案。 公平地说，许多数据集（例如备份和恢复、大型数据湖、文件共享以及许多其他没有严格性能要求的数据集）都会对这些解决方案感到非常满意。 但如果应用程序需要完全访问底层闪存，Graid 就完全在另一个层面上发挥作用。

虽然大多数客户看到 NVMe 硬件并认为无论如何性能都会很棒，但重要的是要了解这些系统在硬盘组合后将如何执行，然后在其之上添加 RAID 层。 在 Linux 环境中，软件 RAID 在跟上 NVMe 设备（尤其是 Gen5 SSD）方面确实显示出其局限性。

虽然单个硬盘的性能很强，但并非所有RAID解决方案都是最适合的。通过比较优化配置，Graid在24块KIOXIA CM7-R Gen5 ssd上提供了超过279GB/s的读取和148GB/s的写入带宽，而软 RAID的读取和写入带宽分别为279GB/s和3.51GB/s。在4K随机读写测试中，我们看到了令人难以置信的28.5M IOPS读取和2.02M  IOPS写入，而软 RAID仅提供5.6M IOPS读取和205k IOPS写入。对于某些环境，软 RAID可能“足够快”，但对于那些要求最高性能水平的环境，它几乎无法与Graid的SupremeRAID相比。
 
为了最大限度地提高像这样的单个主机中的 NVMe SSD 性能，我们在市场上还没有看到任何可以与 Graid SupremeRAID Gen5 解决方案的产品竞争。 在本次测试中，我们在廉价的 NVIDIA A2000 GPU 上完成了这项工作。 任何希望最大化 Gen5 闪存投资的组织都应该明智地采用 Graid PoC，以了解其技术的影响力。