资料下载
×
内存数据库系统分析
消耗积分:1 |
格式:rar |
大小:0.6 MB |
2017-10-16
分享资料个
随着从通信设备到航空装备和工业控制器等技术中对数据管理需求的不断增长，以及受到这些设备中不断增加的板载CPU、RAM和存储资源的推动，数据库管理系统（DBMS）软件在电子设备中越来越普及。设备上的数据库规模大小不一，从几个GB的数据到支持电信计费/信用系统的等级评定和余额管理应用，再到10GB以上的IP路由器的控制层数据库以及100GB以上的电信呼叫路由数据库。
数据库管理系统——曾经与商业应用、台式机和web应用几乎完全关联在一起——为了满足当今电子设备的需求而经过了长足的发展。设计师经常采用的内存数据库系统（IMDS）是在主存中存储记录，因此可以消除许多延时源，比如通过硬连线接进数据库管理系统的缓存和文件管理，这些源将数据永久存储在硬盘或闪存中（下图1显示了这些延时源）。因此与传统“硬盘上的”数据库管理系统相比，内存数据库系统的执行速度可以快好几个数量级。它们的设计也更简单，可以最大限度地减少对CPU周期的需求，进而允许使用更小功耗和更低成本的处理器。
图1：传统（磁盘上）数据库系统中的延时源。
然而，易失性有时是一个使人担心的因素。当发生断电或系统故障时，主存中的内容将消失。一些应用可以容忍这种风险。例如，存储在机顶盒中的基于RAM的电子节目指南在发生电源故障时会丢失，但利用有线电视头端或卫星接收机中的信息可以很快重建。然而，其它许多电子设备要求更高等级的数据库持久性和可恢复性。举例来说，一些医疗设备要求记录随时间变化的症状以支持临床决策——这些数据在发生电源故障时不能突然消失。网络路由器和交换机通常将配置数据永久地存储在闪存中。将这种配置数据保存在内存中也是有意义的，可以实现更快的重启——但数据需要是可恢复的。面临DRAM易失性挑战的还有“读取”指纹或脸部的扫描仪。为了允许或拒绝访问安全设施，扫描仪需要将这些数据与存储在设备上的内存数据库系统中的生物特征数据进行匹配。如果访问控制系统发生了故障，系统必须能够很快恢复。
应用例子：内存数据库系统和工业控制器
在工业控制系统中，在控制器中集成内存数据库系统可以支持‘扁平的’控制系统架构。数据在这种架构中存储和处理，一些控制决策在独立控制器层产生；而在相反（和传统）的层次化系统架构中，存储在控制器层的数据通常被限制用于控制变量。
内存数据库系统易失性解决方案
解决这种易失性问题已有相应的解决方案。以电池供电RAM形式出现的非易失性内存可以在系统断电时在DRAM芯片上保持数据不变，不过这种方法没有得到广泛普及，因为存在严格的温度要求、漏电流风险、有限的电池使用寿命和其它缺点。
内存数据库系统软件本身可以提供数据持久性机制。举例来说，借助事务日志功能，这种数据库系统可以在日志文件中创建一条条事务记录（对数据库进行的一组修改必须作为一个整体完成或失败），在发生故障后这些记录可以用来恢复数据库。但记录本身要求写入永久存储器，因此性能上会有些下降。
减轻易失性问题的另外一种内存数据库系统功能是数据库复制，即独立节点中的一个或多个备用内存数据库与主数据库保持同步。如果主节点失效，这些数据库的复制品之一将接替主节点的角色。虽然管理同步（和有可能发生的故障转移）的过程和节点之间的通信会引起一些延时，但同步可以很快发生。当复制品数量增加或节点间的物理距离增加时，性能成本也会增加。可以用不同的复制策略来管理延时。同步或“2-safe”复制方法要求数据库事务在复制节点和主节点上同时完成，而异步或“1-safe”复制方法允许事务在复制节点上完成之前提交给主数据库。异步方法提供更短的源保持时间，因此速度更快，但一致性和持久性差一些。
NVDIMMS：非易性RAM，无需电池
非易失性双列直插式内存模块或NVDIMM的出现增加了针对内存数据库持久性的一种新工具。NVDIMM采用标准记忆棒的形式，可插入现有的DIMM插座，因此简化了到现成平台的集成。通常它们包含标准DRAM、NAND闪存和超级电容电源。在正常工作时，这种技术提供了高速DRAM的性能。当发生断电事件时，超级电容提供的瞬时电能可用来将主存内容写入NAND闪存芯片，实现永久保存。当电源恢复时，NVDIMM将NAND闪存中的数据恢复到DRAM中。
对于内存数据库来说，NVDIMM的作用与电池供电型RAM是类似的，但没有后者所需的电池及其缺点。McObject公司以前就做过这方面的努力，其eXtremeDB内存数据库系统可以与电池供电型RAM一起工作。公司很想将使用NVDIMM的内存数据库系统作为主要存储器。目前有多家供应商可以提供NVDIMM.我们使用AgigA Tech公司的产品对eXtremeDB进行了测试，因为我们非常熟悉AgigA公司的母公司——赛普拉斯半导体。同时我们把测试仅限于AgigA的NVDIMM（比如没有测试来自Viking Technology和Smart Modular Technologies公司的NVDIMM），这主要是因为我们的时间和资源非常有限。因此本文中提到的测试只是从概念上证明，内存数据库系统可以与NVDIMM一起作为存储器，达到与使用传统DRAM相当的性能，并且能够利用NVDIMM的恢复功能恢复由于系统故障“丢失的”内存数据库。
测试还解决了在同时要求低延时和数据可恢复性的应用中使用内存数据库系统时经常出现的另外一个问题，即采用事务日志记录的内存数据库系统在多大程度上能保持其性能优于基于磁盘的数据库管理系统？对于后面这些涉及永久存储器（内存数据库系统的事务日志存储，以及在采用磁盘上的数据库管理系统情况下的整个数据库）的测试，存储“设备”包含了用AGIGARAM NVDIMM配置的RAM盘。下面给出了使用RAM盘而不是传统硬盘或固态硬盘的理由。
测试中使用的AgigA Tech公司NVDIMM是设计用于Intel的Romley和Grantley平台（采用Sandy Brdige、Ivy Bridge、Haswell和Broadwell处理器架构）的。McObject在Intel Oak Creek Canyon参考主板中使用了4GB AGIGARAM DDR3-1600 NVDIMM，以及Intel奔腾双核CPU 1407 @ 2.8 GHz处理器和8GB的金士顿普通DDR3-1333 DRAM，运行的是Debian Linux 2.6.32.5操作系统。
测试应用程序执行5次数据库操作，每次循环构成一个数据库事务，并包含至少两个操作实例（见图2）。基准应用程序记录在两种数据库类型中的每一个（磁盘上的数据库管理系统和带事务日志的内存数据库系统，或“IMDS+TL”）和两种内存（NVDIMM和传统DRAM）情况下每毫秒完成的循环次数。测试应用程序使用了eXtremeDB自己的C/C++应用编程接口（API）。
数据库管理系统——曾经与商业应用、台式机和web应用几乎完全关联在一起——为了满足当今电子设备的需求而经过了长足的发展。设计师经常采用的内存数据库系统（IMDS）是在主存中存储记录，因此可以消除许多延时源，比如通过硬连线接进数据库管理系统的缓存和文件管理，这些源将数据永久存储在硬盘或闪存中（下图1显示了这些延时源）。因此与传统“硬盘上的”数据库管理系统相比，内存数据库系统的执行速度可以快好几个数量级。它们的设计也更简单，可以最大限度地减少对CPU周期的需求，进而允许使用更小功耗和更低成本的处理器。
图1：传统（磁盘上）数据库系统中的延时源。
然而，易失性有时是一个使人担心的因素。当发生断电或系统故障时，主存中的内容将消失。一些应用可以容忍这种风险。例如，存储在机顶盒中的基于RAM的电子节目指南在发生电源故障时会丢失，但利用有线电视头端或卫星接收机中的信息可以很快重建。然而，其它许多电子设备要求更高等级的数据库持久性和可恢复性。举例来说，一些医疗设备要求记录随时间变化的症状以支持临床决策——这些数据在发生电源故障时不能突然消失。网络路由器和交换机通常将配置数据永久地存储在闪存中。将这种配置数据保存在内存中也是有意义的，可以实现更快的重启——但数据需要是可恢复的。面临DRAM易失性挑战的还有“读取”指纹或脸部的扫描仪。为了允许或拒绝访问安全设施，扫描仪需要将这些数据与存储在设备上的内存数据库系统中的生物特征数据进行匹配。如果访问控制系统发生了故障，系统必须能够很快恢复。
应用例子：内存数据库系统和工业控制器
在工业控制系统中，在控制器中集成内存数据库系统可以支持‘扁平的’控制系统架构。数据在这种架构中存储和处理，一些控制决策在独立控制器层产生；而在相反（和传统）的层次化系统架构中，存储在控制器层的数据通常被限制用于控制变量。
内存数据库系统易失性解决方案
解决这种易失性问题已有相应的解决方案。以电池供电RAM形式出现的非易失性内存可以在系统断电时在DRAM芯片上保持数据不变，不过这种方法没有得到广泛普及，因为存在严格的温度要求、漏电流风险、有限的电池使用寿命和其它缺点。
内存数据库系统软件本身可以提供数据持久性机制。举例来说，借助事务日志功能，这种数据库系统可以在日志文件中创建一条条事务记录（对数据库进行的一组修改必须作为一个整体完成或失败），在发生故障后这些记录可以用来恢复数据库。但记录本身要求写入永久存储器，因此性能上会有些下降。
减轻易失性问题的另外一种内存数据库系统功能是数据库复制，即独立节点中的一个或多个备用内存数据库与主数据库保持同步。如果主节点失效，这些数据库的复制品之一将接替主节点的角色。虽然管理同步（和有可能发生的故障转移）的过程和节点之间的通信会引起一些延时，但同步可以很快发生。当复制品数量增加或节点间的物理距离增加时，性能成本也会增加。可以用不同的复制策略来管理延时。同步或“2-safe”复制方法要求数据库事务在复制节点和主节点上同时完成，而异步或“1-safe”复制方法允许事务在复制节点上完成之前提交给主数据库。异步方法提供更短的源保持时间，因此速度更快，但一致性和持久性差一些。
NVDIMMS：非易性RAM，无需电池
非易失性双列直插式内存模块或NVDIMM的出现增加了针对内存数据库持久性的一种新工具。NVDIMM采用标准记忆棒的形式，可插入现有的DIMM插座，因此简化了到现成平台的集成。通常它们包含标准DRAM、NAND闪存和超级电容电源。在正常工作时，这种技术提供了高速DRAM的性能。当发生断电事件时，超级电容提供的瞬时电能可用来将主存内容写入NAND闪存芯片，实现永久保存。当电源恢复时，NVDIMM将NAND闪存中的数据恢复到DRAM中。
对于内存数据库来说，NVDIMM的作用与电池供电型RAM是类似的，但没有后者所需的电池及其缺点。McObject公司以前就做过这方面的努力，其eXtremeDB内存数据库系统可以与电池供电型RAM一起工作。公司很想将使用NVDIMM的内存数据库系统作为主要存储器。目前有多家供应商可以提供NVDIMM.我们使用AgigA Tech公司的产品对eXtremeDB进行了测试，因为我们非常熟悉AgigA公司的母公司——赛普拉斯半导体。同时我们把测试仅限于AgigA的NVDIMM（比如没有测试来自Viking Technology和Smart Modular Technologies公司的NVDIMM），这主要是因为我们的时间和资源非常有限。因此本文中提到的测试只是从概念上证明，内存数据库系统可以与NVDIMM一起作为存储器，达到与使用传统DRAM相当的性能，并且能够利用NVDIMM的恢复功能恢复由于系统故障“丢失的”内存数据库。
测试还解决了在同时要求低延时和数据可恢复性的应用中使用内存数据库系统时经常出现的另外一个问题，即采用事务日志记录的内存数据库系统在多大程度上能保持其性能优于基于磁盘的数据库管理系统？对于后面这些涉及永久存储器（内存数据库系统的事务日志存储，以及在采用磁盘上的数据库管理系统情况下的整个数据库）的测试，存储“设备”包含了用AGIGARAM NVDIMM配置的RAM盘。下面给出了使用RAM盘而不是传统硬盘或固态硬盘的理由。
测试中使用的AgigA Tech公司NVDIMM是设计用于Intel的Romley和Grantley平台（采用Sandy Brdige、Ivy Bridge、Haswell和Broadwell处理器架构）的。McObject在Intel Oak Creek Canyon参考主板中使用了4GB AGIGARAM DDR3-1600 NVDIMM，以及Intel奔腾双核CPU 1407 @ 2.8 GHz处理器和8GB的金士顿普通DDR3-1333 DRAM，运行的是Debian Linux 2.6.32.5操作系统。
测试应用程序执行5次数据库操作，每次循环构成一个数据库事务，并包含至少两个操作实例（见图2）。基准应用程序记录在两种数据库类型中的每一个（磁盘上的数据库管理系统和带事务日志的内存数据库系统，或“IMDS+TL”）和两种内存（NVDIMM和传统DRAM）情况下每毫秒完成的循环次数。测试应用程序使用了eXtremeDB自己的C/C++应用编程接口（API）。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
