NVIDIA ConnectX智能网卡驱动RDMA通讯技术在分布式存储的应用

NVIDIA ConnectX 智能网卡及开源 UCX 框架帮助网易高性能 RDMA 网络通讯功能实现更优表现，助力网易通过 Curve 开源项目为 Apache BRPC 自主实现高性能的 RDMA 网络通讯。

网易亟需打造一款高吞吐和低延迟的分布式存储系统

如何为用户提供性能优异、易于部署的分布式存储系统，特别是如何在远程访问存储时提高吞吐和降低延迟是网易面临的主要挑战。虽然在自研的 Curve 开源项目下已经支持了 Apache BRPC ，并具备了一定的远程方位存储的网络通讯能力，但是并未实现对 RDMA 网络通讯的支持，并借助 RDMA 网络通讯能力来实现高吞吐和低延迟，从而提升整体开源云原生分布式存储系统的性能。  

NVIDIA ConnectX 智能网卡

为网易 Curve 开源项目提供解决方案

网易的 Curve 开源项目下支持 Apache BRPC ，并自研实现了 RDMA 网络通讯功能，而其采用的 NVIDIA ConnectX 智能网卡及开源 UCX 框架的底层软硬件基础设施，帮助其更好地为用户提供兼顾高性能、易运维、低成本的弹性分布式存储解决方案。   Curve 是云原生计算基金会（CNCF）沙箱（Sandbox）项目，它是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统，由块存储 CurveBS 和文件系统 CurveFS 两部分组成，可应用于主流的云原生基础设施平台：  

对接 OpenStack 平台为云主机提供高性能块存储服务；

对接 Kubernetes 为其提供 RWO 、RWX 等类型的持久化存储卷；

对接 PolarFS 作为云原生数据库的高性能存储底座，完美支持云原生数据库的存算分离架构。

Curve 亦可作为云存储中间件，使用与 S3 兼容的对象存储作为数据存储引擎，为公有云用户提供高性价比的共享文件存储系统。   网易致力于通过 Curve 开源项目自主研发云原生的分布式存储系统，为不同应用场景下的存储需求，提供大容量、高性能、易运维、低成本的开源弹性存储解决方案。而其最新为 BRPC 自研的 RDMA 网络通讯功能，将会极大的简化 RDMA 网络通讯的实现和提升远程存储访问的性能，为 Curve 开源项目提供高性能、低延迟的本地和远程存储访问体验，同时提供良好的上层 API 兼容性和透明性，使 Curve 成为更为完善的云原生分布式存储系统，从而驱动其在开源的分布式存储领域得到广泛的应用。  

NVIDIA ConnectX 智能网卡

助力 RDMA 网络通讯功能发挥优异性能

该 RDMA 网络通讯功能完美的运行在采用 NVIDIA ConnectX 智能网卡及开源 UCX 框架（NVIDIA 是开源项目 UCX 的核心成员和主要贡献者）的底层软硬件基础设施上，将会发挥出更优异的性能表现，满足用户对分布式存储系统高性能、低延迟的需求，并大幅降低主机 CPU 开销，为用户提供兼顾高性能、易运维、低成本的弹性分布式存储解决方案。   具体来说，网易在 NVIDIA Connect X 智能网卡的驱动下实现 UCX 框架中的 UCP（Unified Communication for Protocols）：  

极大简化了 RDMA 网络通讯在分布式存储应用场景下的实现，且支持的 RDMA 接口具有良好的 API 兼容性

基于高性能的 NVIDIA ConnectX 智能网卡，将实现更为出色的 RDMA 网络通讯性能，IO 时延得到极大改善

即时将 RDMA 网络通讯能力体现在 Curve 后续的开源软件版本中，驱动云原生分布式存储系统的广泛应用

如今，Curve 开源项目的 RDMA 网络通讯功能已经实现，将会在后续的 Curve 版本中发布。想要深入了解网易是如何为 BRPC 实现 RDMA 网络通讯功能，请点击“阅读全文”。    

审核编辑：汤梓红