NVIDIA Triton 系列文章（6）：安装用户端软件

在前面的文章中，已经带着读者创建好 Triton 的模型仓、安装并执行 Triton 推理服务器软件，接下来就是要安装 Triton 用户端软件，对服务器提出推理请求（requests），才能触发服务器执行推理计算的任务。

由于用户端的功能是在向服务器提出推理需求，本身并不参与计算，因此不用考虑设备性能或者是否装载 GPU 设备，即便是一台最基本的 Windows 上网本都能使用，只要安装合适的用户端软件就可以。

为了适应更多种使用场景，Triton 用户端支持 C++/Python/Java/GO 等通用性高的在编程语言，底层还支持 HTTP/REST 与 gRPC 通讯协议，甚至还支持 SSL/TLS 加密选项，以及多种在线压缩（on-wire compression）算法，内容是相当丰富并且多元化，完整的内容可以在 https://github.com/triton-inference-server/client 开源仓里找到，本文只先提供 Python 用户端的部分。

与服务器的安装方式类似，NVIDIA 提供以下 4 种安装方式：

1. 源代码编译

这种方式需要从 https://github.com/triton-inference-server/client 下载源代码，执行步骤在 https://github.com/triton-inference-server/client#build-using-cmake 环节，通常会遇到的麻烦是步骤繁琐，并且出错率较高，因此并不推荐使用这个方法。

2. 可执行文件

Triton 开发团队为使用者提供编译好的可执行文件，包括 Ubuntu 20.04、Jetpack 与 Windows 平台，可以在 https://github.com/triton-inference-server/server/releases/ 上获取，每个版本都会提供对应 NGC 容器的版本，如下图：

然后到下面的“Assets”选择合适的版本：

以装载 Jetpack 5 的 Orin 为例，就下载 tritonserver2.26.0-jetpack5.0.2.tgz(1.13GB)  压缩文件到本机上，然后解压缩到指定目录下就可以，例如 ${HOME}/triton 目录，会生成 、、、、、 等 6 个目录，用户端的可执行文件在目录下，目前有将近 30 个终端功能。

现在要使用 image_client 这个最基础的识别终端软件，对 qa/images/mug.jpg（下图）这张图片进行推理。

请先确认 Triton 服务器软件已经启动并且处于等待请求的状态，现在请开启另一个命令终端，输入以下指令提交推理请求：

cd  ${HOME}/triton
./clients/bin/image_client -m densenet_onnx -c 3 -s INCEPTION qa/images/mug.jpg

这道指令使用 clients/bin/image_client 终端，请求服务器使用 densenet_onnx 推理模型，对 qa/images/mug.jpg（下图）进行识别。这里的参数“-c 3”是要求识别的分类最多可以到 3 项，指令执行结果如下，表示正确识别图像的 3 个可能分类：

其他终端软件会在后面文章中说明。

3. Docker容器版用户端

在安装 Triton 服务器软件一文中已经提过，可以在 NGC 服务器上可以找到 Triton 的相关镜像，其中 year-xy-py3-sdk 里就有提供用户端软件。这里同样在 Jetson AGX Orin 上用 22.09-py3-sdk 镜像做示范，请先执行以下指令下载这个镜像并进入这个容器：

docker pull nvcr.io/nvidia/tritonserver:22.09-py3-sdk
docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:22.09-py3-sdk

进入容器之后，执行以下指令进行图像推理任务：

./install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION ./images/mug.jpg

执行结果应该会看到如下截屏的内容，表示在这里对 Triton 服务器提出的推理请求，得到正确的计算结果。

同样的，在容器内 install/bin 目录下也有将近 30 个编译好的终端可执行文件，内容与前一项压缩文件所提供的内容是一致的，在下一篇文章中进行说明。

4. Python 版用户端

由于 Python 是目前在深度学习领域中最重要的编程语言之一，NVIDIA 为 Triton 提供可直接安装的 Python 库，只要执行以下指令就能轻松安装：

pip3  install  tritonclient[all]  attrdict  -i  https://pypi.tuna.tsinghua.edu.cn/simple

这个过程会安装以下内容：

• http

• grpc [ service_pb2, service_pb2_grpc, model_config_pb2]

• utils [ Linux 发行版将包括 shared_memory 和 cuda_shared_memory]

如果您在前面下载第 2 部分的压缩文件并且解压缩，在该目录之下的 clients/python 里就提供 30 多个 Triton 的 Python 用户端脚本；如果没有下载前面的压缩文件，现在可以执行以下指令去复制 Triton 项目的 client 开源仓：

git clone https://github.com/triton-inference-server/client

然后在 client 开源仓下的 src/python/examples 里有 30 多个 Triton 的 Python 用户端脚本。

现在进到 Python 用户端脚本的目录里，执行以下指令：

python3  image_client.py  -m  inception_graphdef  -s  INCEPTION 
${HOME}/triton/server/qa/images/mug.jpg

执行后会显示如下的结果：

得到推理的结果为“COFEE MUG”为正确的，表示 Triton 的 Python 用户端使用环境是正确的。

以上介绍 4 种安装 Triton 用户端软件的方式，本文只使用 image_client 这个最简单的图像分类用户端工具，另外还有几个比较重要的用户端工具，后面会有针对性的深入讲解与示范。

推荐阅读

NVIDIA Jetson Nano 2GB 系列文章（1）：开箱介绍

NVIDIA Jetson Nano 2GB 系列文章（2）：安装系统

NVIDIA Jetson Nano 2GB 系列文章（3）：网络设置及添加 SWAPFile 虚拟内存

NVIDIA Jetson Nano 2GB 系列文章（4）：体验并行计算性能

NVIDIA Jetson Nano 2GB 系列文章（5）：体验视觉功能库

NVIDIA Jetson Nano 2GB 系列文章（6）：安装与调用摄像头

NVIDIA Jetson Nano 2GB 系列文章（7）：通过 OpenCV 调用 CSI/USB 摄像头

NVIDIA Jetson Nano 2GB 系列文章（8）：执行常见机器视觉应用

NVIDIA Jetson Nano 2GB 系列文章（9）：调节 CSI 图像质量

NVIDIA Jetson Nano 2GB 系列文章（10）：颜色空间动态调节技巧

NVIDIA Jetson Nano 2GB 系列文章（11）：你应该了解的 OpenCV

NVIDIA Jetson Nano 2GB 系列文章（12）：人脸定位

NVIDIA Jetson Nano 2GB 系列文章（13）：身份识别

NVIDIA Jetson Nano 2GB 系列文章（14）：Hello AI World

NVIDIA Jetson Nano 2GB 系列文章（15）：Hello AI World 环境安装

NVIDIA Jetson Nano 2GB 系列文章（16）：10行代码威力

NVIDIA Jetson Nano 2GB 系列文章（17）：更换模型得到不同效果

NVIDIA Jetson Nano 2GB 系列文章（18）：Utils 的 videoSource 工具

NVIDIA Jetson Nano 2GB 系列文章（19）：Utils 的 videoOutput 工具

NVIDIA Jetson Nano 2GB 系列文章（20）：“Hello AI World” 扩充参数解析功能

NVIDIA Jetson Nano 2GB 系列文章（21）：身份识别

NVIDIA Jetson Nano 2GB 系列文章（22）：“Hello AI World” 图像分类代码

NVIDIA Jetson Nano 2GB 系列文章（23）：“Hello AI World 的物件识别应用

NVIDIA Jetson Nano 2GB 系列文章（24）: “Hello AI World” 的物件识别应用

NVIDIA Jetson Nano 2GB 系列文章（25）: “Hello AI World” 图像分类的模型训练

NVIDIA Jetson Nano 2GB 系列文章（26）: “Hello AI World” 物件检测的模型训练

NVIDIA Jetson Nano 2GB 系列文章（27）: DeepStream 简介与启用

NVIDIA Jetson Nano 2GB 系列文章（28）: DeepStream 初体验

NVIDIA Jetson Nano 2GB 系列文章（29）: DeepStream 目标追踪功能

NVIDIA Jetson Nano 2GB 系列文章（30）: DeepStream 摄像头“实时性能”

NVIDIA Jetson Nano 2GB 系列文章（31）: DeepStream 多模型组合检测-1

NVIDIA Jetson Nano 2GB 系列文章（32）: 架构说明与deepstream-test范例

NVIDIA Jetson Nano 2GB 系列文章（33）: DeepStream 车牌识别与私密信息遮盖

NVIDIA  Jetson Nano 2GB 系列文章（34）: DeepStream 安装Python开发环境

NVIDIA Jetson Nano 2GB 系列文章（35）: Python版test1实战说明

NVIDIA Jetson Nano 2GB 系列文章（36）: 加入USB输入与RTSP输出

NVIDIA Jetson Nano 2GB 系列文章（37）: 多网路模型合成功能

NVIDIA Jetson Nano 2GB 系列文章（38）: nvdsanalytics视频分析插件

NVIDIA Jetson Nano 2GB 系列文章（39）: 结合IoT信息传输

NVIDIA Jetson Nano 2GB 系列文章（40）: Jetbot系统介绍

NVIDIA Jetson Nano 2GB 系列文章（41）: 软件环境安装

NVIDIA Jetson Nano 2GB 系列文章（42）: 无线WIFI的安装与调试

NVIDIA Jetson Nano 2GB 系列文章（43）: CSI摄像头安装与测试

NVIDIA Jetson Nano 2GB 系列文章（44）: Jetson的40针引脚

NVIDIA Jetson Nano 2GB 系列文章（45）: I2C总线与PiOLED

NVIDIA Jetson Nano 2GB 系列文章（46）: 机电控制设备的安装

NVIDIA Jetson Nano 2GB 系列文章（47）: 组装过程的注意细节

NVIDIA Jetson Nano 2GB 系列文章（48）: 用键盘与摇杆控制行动

NVIDIA Jetson Nano 2GB 系列文章（49）: 智能避撞之现场演示

NVIDIA Jetson Nano 2GB 系列文章（50）: 智能避障之模型训练

NVIDIA Jetson Nano 2GB 系列文章（51）: 图像分类法实现找路功能

NVIDIA Jetson Nano 2GB 系列文章（52）: 图像分类法实现找路功能

NVIDIA Jetson Nano 2GB 系列文章（53）: 简化模型训练流程的TAO工具套件

NVIDIA Jetson Nano 2GB 系列文章（54）：NGC的内容简介与注册密钥

NVIDIA Jetson Nano 2GB 系列文章（55）：安装TAO模型训练工具

NVIDIA Jetson Nano 2GB 系列文章（56）：启动器CLI指令集与配置文件

NVIDIA Jetson Nano 2GB 系列文章（57）：视觉类脚本的环境配置与映射

NVIDIA Jetson Nano 2GB 系列文章（58）：视觉类的数据格式

NVIDIA Jetson Nano 2GB 系列文章（59）：视觉类的数据增强

NVIDIA Jetson Nano 2GB 系列文章（60）：图像分类的模型训练与修剪

NVIDIA Jetson Nano 2GB 系列文章（61）：物件检测的模型训练与优化

NVIDIA Jetson Nano 2GB 系列文章（62）：物件检测的模型训练与优化-2

NVIDIA Jetson Nano 2GB 系列文章（63）：物件检测的模型训练与优化-3

NVIDIA Jetson Nano 2GB 系列文章（64）：将模型部署到Jetson设备

NVIDIA Jetson Nano 2GB 系列文章（65）：执行部署的 TensorRT 加速引擎

NVIDIA Jetson 系列文章（1）：硬件开箱

NVIDIA Jetson 系列文章（2）：配置操作系统

NVIDIA Jetson 系列文章（3）：安装开发环境

NVIDIA Jetson 系列文章（4）：安装DeepStream

NVIDIA Jetson 系列文章（5）：使用Docker容器的入门技巧

NVIDIA Jetson 系列文章（6）：使用容器版DeepStream

NVIDIA Jetson 系列文章（7）：配置DS容器Python开发环境

NVIDIA Jetson 系列文章（8）：用DS容器执行Python范例

NVIDIA Jetson 系列文章（9）：为容器接入USB摄像头

NVIDIA Jetson 系列文章（10）：从头创建Jetson的容器（1）

NVIDIA Jetson 系列文章（11）：从头创建Jetson的容器（2）

NVIDIA Jetson 系列文章（12）：创建各种YOLO-l4t容器

NVIDIA Triton系列文章（1）：应用概论

NVIDIA Triton系列文章（2）：功能与架构简介

NVIDIA Triton系列文章（3）：开发资源说明

NVIDIA Triton系列文章（4）：创建模型仓

NVIDIA Triton 系列文章（5）：安装服务器软件

---

原文标题：NVIDIA Triton 系列文章（6）：安装用户端软件

文章出处：【微信公众号：NVIDIA英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。