使用Prometheus与Grafana实现MindIE服务可视化监控功能

作者 | 孙晓 李锋

1 相关概念

1.1 MindIE 服务化监控指标查询接口

在 MindIE 服务化运行过程中，为了及时掌握服务的运行状态、性能表现以及发现潜在问题，提供了服务监控指标查询接口（普罗 (Prometheus) 格式）。该接口能够帮助开发者和运维人员获取丰富的服务监控指标数据，为优化服务配置、保障服务质量提供有力支持。

本文将介绍如何使用 Prometheus 与 Grafana 来实现 MindIE 服务可视化监控功能。

当前接口支持以下指标监控，详情可以参考：服务监控指标查询接口（普罗格式）

名称	描述
请求相关指标
request_received_total	服务端接收到的推理请求总数。通过该指标可了解服务的访问热度。
request_success_total	推理成功的请求个数，用于衡量服务的推理成功率。
request_failed_total	推理失败的请求个数，结合成功请求数可计算失败率，评估服务的稳定性。
num_requests_running	当前正在运行的请求个数，反映服务当前的负载情况。
num_requests_waiting	当前等待处理的请求个数，可用于判断服务的处理能力是否满足需求。
num_requests_swapped	当前被交换到 CPU 上的请求个数，帮助了解资源调度情况。
num_preemptions_total	累计触发请求抢占的次数，用于分析服务资源竞争和调度策略的合理性。
Token 相关指标
prompt_tokens_total	处理的所有请求的输入 prompt token 总数，反映输入数据量。
generation_tokens_total	推理后生成的 token 总数，体现服务的输出量。
avg_prompt_throughput_toks_per_s	平均 Prefill 吞吐量，衡量输入阶段的处理速度。
avg_generation_throughput_toks_per_s	平均 token 吞吐量，反映整体的推理生成速度。
request_prompt_tokens	请求输入的 token 数量，用于分析单个请求的输入规模。
request_generation_tokens	请求输出的 token 数量，帮助了解单个请求的输出规模。
性能和资源指标
failed_request_perc	推理失败的请求率，直观反映服务的可靠性。
npu_cache_usage_perc	KV Cache 的 NPU 显存利用率，监控 NPU 资源使用情况。
cpu_cache_usage_perc	KV Cache 的 CPU 利用率，掌握 CPU 资源使用状况。
npu_prefix_cache_hit_rate	NPU 卡上 prefix cache 的命中率，评估缓存的使用效率。
时延指标
time_to_first_token_seconds	首 token 时延，衡量请求推理生成首个 token 的速度，对实时性要求较高的场景至关重要。
time_per_output_token_seconds	token 生成时延，反映连续生成 token 之间的时间间隔，影响服务的响应流畅度。
e2e_request_latency_seconds	端到端时延，代表请求从接收到执行完成的总耗时，综合体现服务的整体性能。

1.2 Prometheus 是什么

Prometheus 是一个开源的系统监控和报警工具包，最初由 SoundCloud 开发，现在是 Cloud Native Computing Foundation（CNCF）的一部分。Prometheus 以其强大的数据收集和查询能力、易于扩展和高可用性在行业内得到了广泛应用。以下是 Prometheus 的核心概念：

时间序列数据库：Prometheus 主要用于存储时间序列数据，即带有时间戳的指标数据。每个时间序列由一个指标名和一组标签（key-value 对）标识。

多维数据模型：Prometheus 的数据模型基于指标名称和标签，可以灵活地对监控数据进行分类和过滤，从而实现复杂的查询和分析。

PromQL：Prometheus 查询语言（PromQL）用于实时查询和分析存储在 Prometheus 中的数据。它支持丰富的运算符和函数，能够满足多种监控和报警需求.

1.3 Grafana 是什么

Grafana 是一个开源的可视化和监控平台，广泛应用于数据分析、监控和报警。它支持多种数据源，提供丰富的可视化工具，使用户能够创建交互式的仪表盘。以下是 Grafana 的核心功能：

数据可视化：Grafana 提供了多种图表类型，包括折线图、柱状图、饼图、热图等，用户可以通过拖拽的方式轻松创建和自定义仪表盘。

支持多种数据源：Grafana 支持从多种数据源获取数据，包括 Prometheus、InfluxDB、Graphite、Elasticsearch、MySQL、PostgreSQL 等。

灵活的查询和过滤：通过集成的数据源查询语言，Grafana 允许用户灵活地对数据进行过滤、聚合和转换。每种数据源都有专门的查询编辑器，帮助用户编写查询语句。

报警和通知：Grafana 提供强大的报警功能，允许用户基于查询结果设置报警规则。当条件满足时，可以通过邮件、Slack、PagerDuty 等多种渠道发送通知。

用户管理和权限控制：Grafana 提供详细的用户管理和权限控制功能，支持用户、团队和组织的管理。用户可以根据需要设置不同的访问权限，保护敏感数据。

2 实践记录

2.1 Prometheus 安装

Prometheus 安装方法参考：

https://prometheus.cloudnative.io/di-san-zhang-prometheus/di-2-jie-an-zhuang/installation

为方便起见，本次实践笔者采用预编译二进制文件安装方法，在 Windows PC 上安装。

安装地址：https://prometheus.io/download/

2.2 Grafana 安装

Grafana 同样支持在不同操作系统安装，详见教程 https://grafana.com/docs/grafana/latest/setup-grafana/installation/

本次实践选择在 Windows 安装，安装地址 https://grafana.com/grafana/download?platform=windows

2.3 MindIE Service 服务部署启动

需在服务器启动 MindIE-Service 服务，服务启动教程不做赘述。

由于 MindIE 服务和 Prometheus+Grafana 在不同主机启动，因此注意配置 config.json 文件。修改 ipAddress 和 managementIpAddress 为服务器 IP，保证 Prometheus+Grafana 服务可访问该 IP 地址。同时需要注意端口设置。

另外，需要确保启动服务前开启服务化监控开关，开启服务化监控功能的命令如下：

 

export MIES_SERVICE_MONITOR_MODE=1

 

参考：https://www.hiascend.com/document/detail/zh/mindie/10RC3/mindieservice/servicedev/mindie_service0251.html

尝试使用 curl 命令验证 metricsPort 输出正常：curl http://{ip}:{port}/metrics

发现能返回普罗格式 metric 输出

2.4 启动 Prometheus 和 Grafana

Step1  修改 prometheus 安装目录下的 promethues.yml 文件，添加 MindIE 服务的 IP 和 metricsport

点击 Prometheus 安装目录下的 promethrus.exe 和 Grafana 安装目录下的 bin/grafana-server.exe 启动 Prometheus 和 Grafana

Step2  打开 Grafana http://localhost:3000 ，预设账号密码是 admin@admin，第一次登录会需要修改密码。

Step3  点击 Connection > Data sources > Add new data source，选择 prometheus，之后把 prometheus 的 URL http://localhost:9090 / 填上去，点击最下面 Save & test。

Step4 之后可以在 Grafana 页面建立 dashboard，在 Home-Dashboards-New dashboard 建立 dashboard， Dashboard 手动构建较麻烦，可以参考一些 Grafana 教程 https://imageslr.com/2024/grafana.html

好在可以通过 json 格式输入或 json 文件 import 快速构建 dashboard

这里选择参考下面 vllm 的 grafana json 文件，将其中的 vllm: 字段去掉（因为 MindIE 的 metrics 字段和 vllm 的 metric 有区别）

http://www.gitpp.com/digiman/vllm/-/blob/main/examples/production_monitoring/grafana.json?ref_type=heads

最终得到 MindIE 指标监控看板界面