迅为iTOP-RK3588开发板 RK1828 AI协处理器模型推理测试指南

 

 

        迅为iTOP-RK3588开发板已完成SDK升级，正式适配瑞芯微RK1828 AI协处理器，形成“主控+协处理器”的异构计算架构。

主控（RK3588）：搭载八核64位处理器（4×A76 + 4×A55，主频2.4GHz），集成6 TOPS NPU，负责系统运行、外设通信、视频采集预处理及运动控制。

协处理器（RK1828）：专职AI推理加速，具备20 TOPS@INT8算力，通过PCIe接口与RK3588高速互联。

• 迅为iTOP-RK3588开发板板载M.2接口，正是连接RK1828 M.2模组的关键通道。核心板支持工业级工作温度范围（-40℃至+85℃），适用于工业自动化、电力、交通等严苛环境。

 

固件与模型准备

 

可以使用配套资料中预转换模型测试推理功能。本章使用的 

rknn3_model_test 和 rknn3_session_test 是安装包自带的 C 语言测试工具。如果需要使用 

Python API 自行控制推理流程，请参考第 7 章 rknn3-toolkit-lite 的使用说明。

5.1 预转换模型说明 

预转换模型存放在网盘资料“06_系统开发配套资料\03_NPU 开发配套资料 

\03_RKNN3&RK1820 使用配套资料\03_预转换好的模型\rknn3_models\v1.0.4”目录下，按类 

型分为四个子目录。

 

cnn 目录下的模型推理速度快，适合用于快速验证 RK1820 是否工作正常。该目录包含 

MobilenetV1、MobilenetV2、ResNet50_v2，如下图所示。

llm 目录下是大语言模型，包含 Qwen2.5 系列的 0.5B、1.5B、3B、7B，Qwen3 系列的 0.6B、 

1.7B、4B、8B，以及 CoPaw-flash-4B，如下图所示。

 

 

 

 

 

vlm 目录下是视觉语言多模态模型，包含 FastVLM_1.6B、gemma4-e2b、gemma4-e4b。

 

others 目录下包含了 PaddleOCR-VL（文字识别）、Qwen3-ASR-0.6B（语音识别）、Qwen3-TTS-1.7B（语音合成）等专用模型。

 

 

 

 

 

 

 

每个模型目录下包含以下文件：.rknn 文件是转换后的模型结构文件，.weight 文件是模型 

权重文件，.tokenizer.gguf 是分词器文件（LLM 模型特有），.embed.bin 是嵌入层文件（LLM 

模型特有）。这些文件缺一不可，推送模型时需要确保所有文件都已拷贝到开发板上。

5.2 CNN 模型测试 

CNN 模型推理延迟低、验证速度快，我们将其作为第一个测试项目来确认 RK1820 工作正常。

 

以 MobilenetV2 为例，演示完整的测试流程。如果开发板没有/userdata 目录，要新建一 个 userdata 文件夹。

 

1、将模型推送到开发板的/userdata 目录下。在 PC 端执行以下命令： 

adb.exe push ./cnn/mobilenet_v2/i8 /userdata/cnn/mobilenet_v2

 

2、登录开发板并切换 root 用户： 

sudo su - 

3、进入模型目录，输入以下命令： 

cd /userdata/cnn/mobilenet_v2

4、执行推理测试，输入以下命令： 

rknn3_model_test mobilenet_v2.rknn mobilenet_v2.weight '' '' 0x01 10 

命令参数说明：前两个参数是模型文件和权重文件，第三个和第四个参数是输入图片路 

径和 golden 输出路径（这里使用空字符串表示随机输入），0x01 是推理标志位，10 表示重 

复推理 10 次取平均。命令执行结果如下图所示。

通过上述日志可以看出来，RK1828 算力卡已经成功安装并在 iTOP-RK3588 上正常运行。 

MobilenetV2 模型推理测试成功完成 10 次循环，平均单次推理耗时仅 2.987ms，说明 RK1828 

工作状态良好，可以正常进行后续的模型推理测试。其他模型（yolov8 等）的测试方法与此 

类似，可参考本章自行测试。 

如果推理失败，首先确认 rknn-smi info 显示的 Health 状态是否为 OK。然后确认.rknn 

和.weight 两个文件是否都已存在且大小正常。最后确认当前用户是否为 root 用户。

5.3 LLM 模型测试 

LLM 大语言模型的测试可以直观地看到 RK1820 的对话生成能力。

 

 

以下以 RK1828 运行 Qwen3-8B 为例。如果使用 RK1820，可将模型替换为 Qwen2.5-3B， 命令参数不变。 

 

第一步，将模型推送到开发板上。PC 端执行： 

adb.exe push ./llm/Qwen3-8B /userdata/llm/Qwen3-8B

 

 

第二步，登录开发板切换 root 用户，然后执行推理命令： 

cd /userdata/llm/Qwen3-8B 

rknn3_session_test Qwen3-8B.rknn Qwen3-8B.weight Qwen3-8B.tokenizer.gguf Qwen3- 8B.embed.bin 2048 256 0xff 命令参数说明：四个文件分别是模型文件、权重文件、分词器文件和嵌入层文件。2048 是最大上下文长度（context length），256 是最大新生成 token 数，0xff 是推理标志位。 命令执行结果如下图所示。信息，模型配置正确。中英文对话输出内容完整、逻辑清晰，说明推理精度正常。Prefill 阶段 TPS 约 89~97Token/s，Generate 阶段 TPS 约 53~54Token/s，性能表现稳定，表明RK1828 的 5GB 显存和 1TB/s 带宽能够充分支撑 8B 参数模型在 2048 上下文下的稳定运行，满足端侧大模型实时交互场景的需求。 

如果 LLM 模型加载失败，首先通过 rknn-smi info 查看显存使用情况，确认是否还有剩余空间。然后确认四个模型文件（.rknn、.weight、.tokenizer.gguf、.embed.bin）是否全部存在且完整。