hbase性能测试总结

hbase性能测试总结

测试服务器硬件说明

测试环境总共包含4台物理机作为数据存储。测试的YCSB程序与数据库并不运行在相同的物理集群上。物理机的配置如下所示：

CPU：32核 Intel E5-2440

内存：96G

存储：3.6T * 12 SATA盘

测试场景

 

YCSB并没有提供Increment相关的测试功能，但是部分业务有这方面的需求，因此对YCBS进行了改造，加入了Increment模块。

HBase相关重要参数

hfile.block.cache.size：0.2

hbase.regionserver.global.memstore.upperLimit：0.45

jvm：-Xms48g -Xmx48g -Xmn4g -Xss256k -XX:PermSize=256m -XX:MaxPermSize=256m

hfile.block.cache.size参数表示HBase会为每台Region Server分配大小为9.6G（48 * 0.2）的内存作为读缓存使用;

hbase.regionserver.global.memstore.upperLimit参数表示HBase会为每台Region Server最多分配大小为21.6G（48 * 0.45）的内存作为写缓存使用;

jvm参数表示每台机器会分配48G内存作为Java的堆内存使用

测试结果

测试总结

写性能：集群吞吐量最大可以达到70000+ ops/sec，延迟在几个毫秒左右。网络带宽是主要瓶颈，如果将千兆网卡换成万兆网卡，吞吐量还可以继续增加，甚至达到目前吞吐量的两倍。

读性能：很多人对HBase的印象可能都是写性能很好、读性能很差，但实际上HBase的读性能远远超过大家的预期。集群吞吐量最大可以达到26000+，单台吞吐量可以达到8000+左右，延迟在几毫秒～20毫秒左右。IO和CPU是主要瓶颈。

Range 扫描性能：集群吞吐量最大可以达到14000左右，系统平均延迟在几毫秒～60毫秒之间（线程数越多，延迟越大）;其中IO和网络带宽是主要瓶颈。