区块链基准测试工具Hyperleder Caliper技术解析

Hyperledger Caliper：测量区块链性能的工具

Hyperleder Caliper。Caliper项目最初于2017年5月启动，全球信息与通信技术公司华为积极参与了该项目的设计和开发。Hyperledger Caliper是一个区块链基准测试工具，让项目可以不间断地跟踪不同区块链实现的性能特性。Hyperledger Caliper初始版本的重点是每秒事务数（TPS）、延迟和资源利用率。

区块链技术日益受到人们的关注，但是，你在为业务问题创建解决方案之前，却无法测试各种可用区块链平台的性能。为了解决这一痛点，Hyperledger社区提供了一个名为“Hyperledger Caliper”的工具，可用来测试区块链平台的性能。

Hyperledger Caliper

Caliper是一个区块链性能基准测试框架，它允许用户使用预定义的用例测试不同的区块链解决方案，并获得一组性能测试结果。

目前支持的性能指标：

成功率

事务吞吐量

事务延迟（最小值、最大值、平均值、百分比）

资源消耗（CPU、内存、网络IO等）

架构

适配层

使用适配层将现有的区块链系统集成到Caliper框架中。每个适配器通过使用相应的区块链的原生SDK或RESTful API来实现区块链的Caliper NBI。

接口和核心层

接口和核心层实现核心功能，并为上行应用程序（up-applications）提供了北向接口，共四种NBI：

1.区块链操作接口：包含在后端区块链上部署智能合约、调用合约、从分类账查询状态等操作。

2.资源监控器：包含启动、停止监控器和获取后端区块链系统的资源消耗状态的操作，包括CPU、内存、网络IO等。目前提供了两种监控器，一种是监控本地和远程docker容器，另一种是监控本地进程。

3.性能分析器：包含读取预定义性能统计数据（包括TPS、延迟、成功率等）和打印基准测试结果的操作。在调用区块链NBI时记录关键指标，例如事务的创建时间和提交时间、事务结果等。

4.报告生成器：包含用于生成HTML格式测试报告的操作。

应用层

应用层包含针对典型区块链场景实现的测试。每个测试都有一个配置文件，用于定义后端区块链网络和测试参数。

内置了一个默认基准测试引擎，用来帮助开发人员理解框架，并快速实现自己的测试。开发人员可以在没有框架的情况下直接使用NBI来实现他们的测试。

基准测试引擎：

Master：

Master实现了一个包含三个阶段的默认测试流：

1. 准备阶段：在此阶段，Master使用区块链配置文件创建并初始化内部区块链对象，按照配置中指定的方式部署智能合约，并启动监控器对象来监控后端区块链系统的资源消耗。

2. 测试阶段： Master根据基准测试配置文件启动一个循环测试、来执行测试。任务将根据定义的工作负载生成并分配给Client。将存储客户的性能统计返回，以供以后分析。

3. 报告阶段：分析每一轮测试的所有客户端统计数据，并自动生成HTML格式报告。

Client：

Local Client：

在这种模式下，Master使用Node.js集群模块分叉多个Local Client来进行实际的测试工作。

Zookeeper Client：

在这种模式下，多个Zookeeper Client独立启动。Zookeeper客户端将在启动后注册并监控测试任务。测试之后，将创建一个包含性能统计结果的znode。

Caliper示例报表格式：

配置文件：

使用两种配置文件。一个是基准测试配置文件，它定义了类似工作负载的基准测试。

另一个是区块链配置文件，它指定了有助与SUT交互的必要信息。

下面是一个基准测试配置文件示例：

先决条件：

· 确保已经安装下列工具：

· NodeJS 8.X

· node-gyp

· Docker

· Docker-compose

git clone https://github.com/hyperledger/caliper.git

要在本地安装依赖项，请在caliper文件夹中运行npm install。

安装区块链SDK：

Fabic

在根文件夹中运行：

npm install grpc@1.10.1 fabric-ca-client fabric-client

Sawtooth

安装依赖项：

npm install protocol-buffers

使用存储库安装sawtooth JavaScript SDK。

run npm install sawtooth-sdk in the root folder

在根文件夹中运行：

npm install sawtooth-sdk

Iroha

安装Iroha库

在Caliper的根文件夹中运行：

npm install -no-save iroha-lib@0.1.7

Composer

安装依赖项：

更新主package.json文件，包含所需的Composer和Fabic模块，然后运行npm install来安装。

运行基准测试：

在基准测试文件夹中，可以找到所有预定义的基准测试。

要开始基准测试，只需在根文件夹中运行它即可：

node benchmark/simple/main.js -c yourconfig.json -n yournetwork.json

参数-c：指定基准测试的配置文件。如果不指定此参数，则config.json将用作默认值。

参数-n：指定被测区块链网络的配置文件。如果不指定此参数，则在基准测试配置文件中指定文件地址。

注意：

·你还可以使用npm脚本来运行基准测试。

npm运行列表：

》 caliper@0.1.0 list /home/hurf/caliper

》 node 。/scripts/list.js

可用基准测试：

drm

simple

使用特定配置文件来运行基准测试：

npm test — — simple -c 。/benchmark/simple/config.json -n./benchmark/simple/fabric.json

》 caliper@0.1.0 test /home/hurf/caliper

》 node 。/scripts/test.js “simple” “-c” “。/benchmark/simple/config.json” “-n” “。/benchmark/simple/fabric.json”

。..。..

使用去中心化Client进行基准测试：

1. 启动ZooKeeper服务；

2. 通过运行节点。/src/comm/client/zoo-client.js zookeeper-server或npm run startclient — — zookeeper-server分别在目标计算机上启动Client。

例如：

$ npm run startclient — 10.229.42.159:2181

》 caliper@0.1.0 startclient /home/hurf/caliper

》 node 。/src/comm/client/zoo-client.js “10.229.42.159:2181”

Connected to ZooKeeper

Created client node:/caliper/clients/client_1514532063571_0000000006

Created receiving queue at:/caliper/client_1514532063571_0000000006_in

Created sending queue at:/caliper/client_1514532063571_0000000006_out

Waiting for messages at:/caliper/client_1514532063571_0000000006_in.。..。.

3. 将配置文件中的Client类型设置修改为zookeeper。

例如：

“clients”： {

“type”： “zookeeper”，

“zoo” ： {

“server”： “10.229.42.159:2181”，

“clientsPerHost”： 5

}

}

4. 像往常一样，在任何机器上启动基准测试。

注意：

· Zookeeper用于注册Client和交换信息。启动的Client将在/caliper/clients/下添加新的znode。基准测试检查目录以了解有多少Client，并根据工作负载为每个Client分配任务。

· Client之间没有自动时间同步。你应该手动同步目标计算机之间的时间，例如使用“ntpdate”命令。

· 区块链配置文件必须存在于运行Client的计算机上，且文件的相对路径（相对于caliper文件夹）必须相同。配置中的所有引用文件也必须存在。

编写你自己的基准测试

Caliper提供了一组nodejs NBI（北向接口），供应用程序与后端区块链系统交互。查看src/comm/blockchain.js来了解NBI。多重适配器实现将NBI转换为不同的区块链协议。因此，开发人员可以编写一次基准测试，并在不同的区块链系统中运行它。

一般来说，要编写一个新的caliper基准测试，你需要：

· 为想要测试的系统编写智能合约

· 使用caliper NBI编写一个测试流。Caliper提供了一个默认的基准测试引擎，它可以插拔并可配置，可以轻松地集成新的测试。有关更多的详细信息，请参阅基准测试引擎。

· 编写配置文件来定义后端网络和基准测试参数。