PingCAP推出TiDB开源分布式数据库

“作为一款PingCAP自主研发、面向全球用户的开源数据库，TiDB走在了技术的前沿。得益于第四代英特尔 至强 可扩展处理器卓越的代际性能提升，以及其搭载的多种硬件加速器，我们进一步提升了TiDB的性能表现。我们将继续坚持开源的创新理念，将TiDB打造成一个领先的数据库产品。”

部署新一代分布式数据库已经成为用户释放数据价值、推动数字化转型的重要方式，但随着数据的快速增长以及上层负载的日益复杂化，数据库的应用面临着以下挑战：

• 如何释放CPU性能：在金融、电子商务、互联网、游戏等行业用户的数据库部署实践中，常常需要通过高性能的数据库服务，满足高读写等场景的应用需求，以提升应用体验，由此导致用户对数据库性能的要求与日俱增。长期实践已证实，CPU性能是制约数据库性能提升的重要瓶颈。 

• 如何平衡存储空间与性能：海量数据存储与处理需求意味着大量存储空间占用，这会带来相应的存储成本压力。而通过提升数据压缩率等方式，有助于节约数据库系统的存储空间占用，降低成本压力，但数据压缩也可能导致性能开销的增长，需要在压缩率与性能方面实现更佳的平衡。 

• 如何优化投资回报：在现代化的数据中心内，激增的数据带来了数据库方面不断增长的投资需求，用户希望能够提升数据库的性能密度，通过软件优化等方式更好地激发硬件潜能，从而提升在数据库领域的投资回报。

作为数字化体系的关键组成部分，数据库连接着应用与数据，对于数据价值的挖掘有着至关重要的意义。随着数字化转型的深入，数据库需要处理的结构化、非结构化数据出现了快速增长，用户对于数据库的性能、扩展性、服务质量提出了更高的要求，这驱动着数据库技术融合发展，云原生和多云的需求进一步增强，数据库与大数据的深度融合应用，以及存算分离也成为发展的主流。 

PingCAP推出了TiDB开源分布式数据库，以帮助行业客户应对数字化转型所带来的挑战。为了进一步提升数据库性能并节省存储空间，PingCAP测试了TiDB在第四代英特尔 至强 可扩展处理器平台上的性能，依托处理器的代际性能提升，数据库的读性能与读写性能分别达到基准配置的1.62倍与1.43倍1 。此外，TiDB还可以利用第四代英特尔 至强 可扩展处理器集成的英特尔 In-Memory Analytics Accelerator（英特尔 IAA），在不影响性能的前提下，提升了数据压缩率，节约了大量的存储空间。

TiDB开源分布式数据库

TiDB是PingCAP公司自主设计、研发的开源分布式数据库，是一款同时支持在线事务处理与在线分析处理(Hybrid Transactional and Analytical Processing，HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生、兼容MySQL协议和MySQL生态等核心特性。TiDB为用户提供一栈式联机事务处理过程(OLTP)、联机分析处理(OLAP)和HTAP解决方案，适用于高可用、强一致、数据规模较大等应用场景。

图1. TiDB开源分布式数据库产品架构与数据生态

TiDB开源分布式数据库采用云原生架构，兼容MySQL，能够有效减少迁移工作量。数据库同时具备交易处理与数据分析能力，在多模态可扩展性和性能方面表现卓越。TiDB可提供以下优势：

一键水平扩容或者缩容

得益于TiDB存储计算分离的架构设计，可按需对计算、存储分别进行在线扩容或者缩容，整个过程对应用运维人员透明。

金融级高可用

数据采用多副本存储，数据副本通过Multi-Raft协议同步事务日志，多数派写入成功事务才能提交，确保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等策略满足不同容灾级别的要求。

实时HTAP

提供行存储引擎TiKV、列存储引擎TiFlash两款存储引擎，TiFlash通过Multi-Raft Learner协议实时从TiKV复制数据，确保行存储引擎TiKV和列存储引擎TiFlash之间的数据强一致。TiKV、TiFlash可按需部署在不同的机器，解决混合负载资源隔离的问题。

云原生的分布式数据库

为云设计的分布式数据库，通过TiDB Operator可在公有云、私有云、混合云中实现部署工具化、自动化，依托公有云提供开箱即用的TiDB Cloud服务(DBaas)。

兼容MySQL协议和MySQL生态

兼容MySQL协议、MysQL常用的功能、MysQL生态，应用无需或者修改少量代码即可从MySQL迁移到TiDB，提供丰富的数据迁移工具帮助应用便捷完成数据迁移。

采用第四代英特尔 至强 可扩展处理器优化性能并提升数据压缩率

对于现代化的数据库系统，CPU已经成为数据库整体性能的关键影响因素。为了从CPU的迭代中获益，TiDB开源分布式数据库适配了第四代英特尔 至强 可扩展处理器。 

第四代英特尔 至强 可扩展处理器通过创新架构增加了每个时钟周期的指令，每个插槽多达60个核心，支持8通道DDR5内存，有效提升了内存带宽与速度，并通过PCIe 5.0（80个通道）实现了更高的PCIe带宽提升。第四代英特尔 至强 可扩展处理器提供了现代性能和安全性，可根据用户的业务需求进行扩展。借助内置的加速器，用户可以在AI、分析、云和微服务、网络、数据库、存储等类型的工作负载中获得优化的性能。通过与强大的生态系统相结合，第四代英特尔 至强 可扩展处理器能够帮助用户构建更加高效、安全的基础设施。

图2. 第四代英特尔 至强 可扩展处理器为数据中心提供多种优势

对于数据库应用而言，第四代英特尔 至强 可扩展处理器提供了更多的内核，以及更多的Sub-NUMA Clustering(SNC)节点，使得数据库系统能够实现明显的代际性能提升。

在OLTP场景中，为了验证CPU升级带来的性能提升，PingCAP进行了测试，验证了在Sysbench基准测试中，英特尔 至强 铂金 8380/8480+ 处理器的只读、读写性能差异。测试数据如图3、图4所示，基于英特尔 至强 铂金 8480+ 处理器的TiDB在Sysbench只读测试中性能达到基准配置的1.62倍，在Sysbench读写测试中性能达到后者的1.43倍6 。

表1. 测试配置

图3. 只读测试性能

图4. 读写测试性能

在OLAP场景中，PingCAP还希望能够提升TiDB的海量数据压缩存储能力，从而减少存储数据所需的空间，降低相应的成本投入。为此，TiDB采用了第四代英特尔 至强 可扩展处理器集成的英特尔 IAA加速器。 

英特尔 IAA是一款硬件加速器，结合分析原始函数，能够提供出色的吞吐量压缩和解压缩性能。英特尔 IAA主要针对大数据和内存分析数据库等应用程序，以及内存页压缩等应用程序透明用途，能够在分析查询处理期间过滤数据。英特尔 IAA支持零压缩等轻量级压缩方案以及霍夫曼编码和Deflate等较重的压缩算法。对于Deflate格式，它支持对压缩流进行索引，以实现高效的随机访问。

图5. 英特尔 IAA加速流程

PingCAP对比了在不同处理器配置下，英特尔 IAA以及LZ4无损压缩算法的压缩率差异。测试数据如图6所示，采用英特尔 IAA替代LZ4之后，TiDB压缩率达到LZ4压缩算法的1.4倍，主要针对列存储引擎TiFlash的使用场景，能够大幅节省存储空间7 。

图6. 不同处理器与压缩算法下的压缩率

此外，PingCAP还测试了在不同的处理器与压缩算法的组合下，数据库的性能差异。测试数据如图7所示，在采用英特尔 IAA替代LZ4进行压缩之后，数据库的性能不仅没有降低，还实现了一定的提升。

图7. 不同处理器与压缩算法下的性能差异

收益

在将CPU升级为第四代英特尔 至强 可扩展处理器之后，TiDB开源分布式数据库提升了性能，节约了存储空间，为客户带来了以下收益： 

•数据库的只读和读写性能分别达到基准配置的1.62倍和1.43倍，结合TiDB自身的性能优势，能够帮助客户加速数据处理与分析效率，应对大规模数据带来的冲击8 。

•英特尔 IAA压缩算法的压缩率达到传统压缩算法的1.4倍，为用户节省了大量的硬盘空间，降低成本；结合CPU的迭代，性能提升可达到原配置的1.56倍，有助于客户化解数据压缩所带来的性能困扰9 。 

•结合软硬件创新，TiDB能够有效提高数据库系统的性能/成本比，帮助用户节省在数据库上的投资。

移动互联网、物联网、人工智能等技术的快速发展推动了数据的爆发式增长，要求企业数据库必须能应对海量数据和对瞬间的超大网络请求，迫使传统的IT架构必须提升其灵活性、可靠性、流动性、安全性。基于第四代英特尔 至强 可扩展处理器TiDB具备高并发、高可用、热分表等特性，并可同时处理交易类业务和分析类业务，有望为企业的数字化转型进程注入充沛的动力。 

PingCAP与英特尔的合作验证了第四代英特尔 至强 可扩展处理器在加速数据库负载方面的卓越潜力。除了当前的合作成果之外，双方还将进一步加速软硬件融合领域的合作，为用户提供安全可靠、海量数据超高性能支持、弹性扩展能力、HTAP混合负载、资源灵活管控和共享等数据库能力支撑，构建基于创新技术的基础设施。