软硬件协同创新优化打造高性能数据库，超聚变和英特尔做了什么？

IDC近日发布的《全球数字化转型支出指南》2023年V1版预测：到2026年，中国数字化转型支出规模预计超过6,000亿美元，五年复合增长率将达到17.9%，增速位于全球前列¹。面对海量、实时、在线的数据处理需求，分布式数据库服务及数仓服务已经成为企业数字化转型的基础设施之一。相比传统架构，分布式数据库具有更高的并发和更低的时延，可实现敏捷的扩展，帮助企业提升投资回报。但同时，随着企业用户的增长，以及业务的持续创新，分布式数据库必须具备更高的性能水平，以在特定的 SLA 标准下处理数据，帮助企业应对数据爆发式增长带来的挑战，充分释放数据价值。

 

作为国产化分布式数据库的重要一员，超聚变数字技术有限公司（以下简称：超聚变）推出的 FusionDB 凭借高性能、简单易 用、稳定高可用、安全可靠等优势，已经在众多行业用户中得到成功应用。目前，基于第四代英特尔 至强 可扩展处理器的FusionDB 数据库解决方案，进一步释放了在加速数据处理方面的潜能。同时，英特尔与超聚变紧密合作，基于英特尔 Open Analytic Toolkit 和英特尔 Quick Assist（英特尔 QAT）等技术对 FusionDB 数据库进行了优化，解决了数据库在加速优化索引访问性能、物理备份性能、备份存储空间占用以及总体拥有成本等方面面临的瓶颈，打造了高性能数据库系统，为用户提供了流式、实时、离线、在线数据聚合等灵活的混合分析能力。

 

第四代英特尔 至强 可扩展处理器
及内置加速器提供算力基座

 

为解决上述性能挑战，进一步增强 FusionDB 数据库的性能优势，超聚变与英特尔从硬件升级、软件优化等多方面进行了深入合作，打造了极具性能的分布式数据库解决方案。

 

在硬件层面，超聚变选择了搭载第四代英特尔 至强 可扩展处理器的数据库服务器作为基础验证平台。第四代英特尔 至强 可扩展处理器通过创新架构增加了每个时钟周期的指令，每个插槽多达 60 个核心，支持 8 通道 DDR5 内存，有效提升了内存带宽与速度，并通过 PCIe 5.0（80 个通道）实现了更高的 PCIe 带宽提升。第四代英特尔 至强 可扩展处理器提供了出色性能和安全性，可根据用户的业务需求进行扩展。

 

此外，第四代英特尔 至强 可扩展处理器内置了多个加速器，诸如英特尔 In-Memory Analytics Accelerator（英特尔 IAA）、英特尔 高级矩阵扩展（英特尔 AMX）、英特尔 Data Streaming Accelerator（英特尔 DSA）、英特尔 QAT 等高级硬件能力，能够加速AI、数据分析、数据加解密等场景下的处理能力，满足用户的多样化算力需求（图1）。

图1：第四代英特尔 至强 可扩展处理器为数据中心提供多种优势

协同开展软件优化
轻松突破索引访问、端到端备份性能瓶颈

 

• 英特尔 Open Analytic Toolkit优化布隆索引访问性能

 

数据库 Postgres 内核默认使用 B-Tree 索引，但为了提升 FusionDB的索引性能，超聚变首先使用布隆索引替代 B-Tree 索引，实现了一定的性能提升。为进一步优化布隆索引的访问性能，超聚变通过英特尔 Open Analytic Toolkit 应用了 AVX512 这一重要特性，以使用处理器的单指令多数据 (SIMD) 指令对索引过程进行矢量化，从而优化性能。英特尔 高级矢量扩展 512（英特尔 AVX-512）是一套创新的指令集，提升了指令的吞吐能力，能够更好地应对庞大的数据量以及数据库中高维数据所带来的性能压力。

 

在实际优化过程中，超聚变利用英特尔 AVX-512 的矢量化方式，对 FusionDB 数据库中创建索引和索引查询的过程进行加速。在创建索引的过程中重点解决了数据哈希矢量化问题，从而实现了并行生成每列数据的布隆位图。在索引查询过程中实现了多路并行的布隆位图比较，并支持变长布隆位图。超聚变针对 FusionDB 数据库索引执行时间测试的数据显示（图2），在启用英特尔 AVX-512 之后，索引性能最高提升1.67倍²。

图2：布隆索引访问性能比较³

• 英特尔 QAT帮助提升物理备份性能，大幅节约空间

 

物理备份是分布式数据库的一个常用场景，为了提升备份效率，超聚变对于 FusionDB 数据库备份缓存机制进行了优化，将备份缓存从 8kb 页面调整为 64kb 页面，从而降低了缓存的增量，提高了吞吐率，更有效地发挥资源性能，大幅提升了全量备份和增量备份等性能。

 

为了进一步提升 FusionDB 数据库备份效率，超聚变利用英特尔 QATzip 对于 FusionDB 数据库 gs_probackup 中原有的缓存机制进行优化，在保证前向兼容的前提下，添加可通过参数配置大小的物理备份缓存，使得 CPU 能力得到充分的发挥，进一步提升了全量备份和增量备份性能（图3）。英特尔 QAT 是英特尔面向高性能安全性、私钥保护和压缩/解压缩等场景推出的一个硬件加速技术，能够将相关负载从 CPU卸载到 QAT 中，有效提升应用程序和平台的性能。第四代英特尔 至强 可扩展处理器集成了英特尔 QAT4.0，能够更进一步释放在私钥保护和压缩/解压缩等场景的性能优势。

图3：备份速率比较⁴

此外，超聚变还对比了当 NVMe 盘缓存大小均为 256KB，全量备份数据量均为 102 GB，并发数为 4 时的 QAT 与 lz4 压缩性能比较。测试数据显示，英特尔 QATzip 均能够有效提升数据压缩效率，提升数据备份恢复速度（图4）。在使用英特尔 QATzip 之后，FusionDB 数据库可以实现 50%⁵左右的压缩率，进一步降低了对于存储空间的占用，有助于降低存储成本，提升数据库系统的投资回报率。

图4：QATzip/ lz4 压缩算法的性能对比⁶

全面赋能
超聚变FusionDB数据库优势显著

 

超聚变与英特尔的深度合作，解决了 FusionDB 数据库面临的多个瓶颈，在布隆数据索引、端到端文件备份等场景中提升了数据库的性能表现，助力超聚变FusionDB 数据库以更优的性能、稳定性、可用性为用户提供服务。

 

首先，通过采用第四代英特尔 至强 可扩展处理器并使用英特尔 Open Analytic Toolkit 进行软件优化，FusionDB 数据库能够加速索引访问速度，更有效地应对大规模业务在吞吐、时延方面的挑战，提升业务服务能力，高效支撑性能敏感型业务。

 

第二，通过利用英特尔 QAT 加速，FusionDB 数据库可缩短备份恢复时间，降低业务迁移成本，减少业务备份中断时间，同时还可通过英特尔 QAT 硬件引擎卸载 CPU 的压缩任务，降低对系统性能的影响。

 

第三，在使用英特尔 QAT 加速压缩之后，FusionDB 数据库实现了更高的压缩率，有助于节省存储空间，降低支出。此外，超聚变提供了基于第四代英特尔 至强 可扩展处理器的 FusionDB 数据库一体机解决方案，能够实现更深入的集成与优化，可以帮助客户降低部署与调优的时间成本。

 

 

在各行各业广泛开展数字化转型的背景下，英特尔致力于为用户提供不同场景的解决方案。基于第四代英特尔 至强 可扩展处理器及其内置加速器，用户可以在 AI、分析、云和微服务、网络、数据库、存储等类型的工作负载中获得优化的性能。通过与强大的生态系统相结合，第四代英特尔 至强 可扩展处理器能够帮助用户构建更加高效、安全的数据中心基础设施，助力企业数字化转型。

   资料援引：1 更多信息请见https://www.idc.com/getdoc.jsp?containerId=prCHC50855923

 

2,3 数据援引自超聚变和英特尔于 2023 年 4 月联合进行测试的结果。测试配置：主节点 — 双路英特尔 至强 铂金 8480 处理器，56 核，256 GB 总内存 (8*32 GB)，2*SSD (480 GB) + 2*NVMe(1.92 TB)；备节点 — 双路英特尔 至强 铂金 8480 处理器，56 核，128 GB 总内存 (4*32 GB)，2*SSD (480 GB) + 2*NVMe (1.92 TB)。英特尔并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否准确。实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.Intel.com/PerformanceIndex

 

4,5,6 数据援引自超聚变和英特尔于 2023 年 4 月联合进行测试的结果。测试配置：主节点 — 双路英特尔 至强 铂金 8480 处理器，56 核，7.3 TB NVMe；备节点 — 双路英特尔 至强 铂金 8480处理器，56 核，1.8 TB NVMe。英特尔并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否准确。实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.Intel.com/PerformanceIndex