【风火轮YY3568开发板免费体验】第六章：在Solus上运行自定义模型并迁移到YY3568对比测试
描述
在第五章中，使用官方的原版历程初步摸索了一下NPU相关的测试方法，本章就开始介绍如何使用自己的模型并迁移到YY3568上面。在这个过程中，我选择的并不是自己训练模型，而是从 tensorflow 官网上下载预训练好的模型，进行迁移测试。在这个过程中，碰到了一些问题，主要集中在：
- 如何使用 rknn-toolkit2 对 tensorflow 官网上面训练好的模型https://tfhub.dev/google/imagenet/mobilenet_v2_035_224/classification/5mageNetLabels.txt 进行转换
- rknn-toolkit2转换后为什么和在原始的模型测试的不一致？
1. 使用 rknn-toolkit2 对 tensorflow 官网上面训练好的模型进行转换
在这一部分中，主要解决的是第一个问题，在这个过程中主要是解决 python 软件包的依赖关系。过程如下：
因为我下载的是压缩包文件，解压之后如下所示：
▸ tree imagenet_mobilenet_v2_035_224_classification_5
imagenet_mobilenet_v2_035_224_classification_5
├── saved_model.pb
└── variables
├── variables.data-00000-of-00001
└── variables.index
2 directories, 3 files
可以看到是 pb 类型的文件，如何引用这个文件我使用的 tensorflow-hub ，这个过程还算顺利，但是后续使用 rknn-toolkit2 对这个模型进行转换时就犯难了，因为在这个过程需要使用到 pb 文件是数据类型的，而从 tensorflow 官网下载的是PDP-11 pure executable not stripped - version 5类型的，就需要对这个类型进行转换，这里就是重点了，我尝试使用 Python3.8 发现一致无法转换，提示错误，主要原因是部分功能不支持，但是我可以用 Python3.10 对这个 pb 文件进行转换为 rknn 需要的 pb 文件，接下去就是安装 rknn 在 Python3.10 上的依赖了，因为我发现上游的 rknn-toolkit2 已经支持 Python3.10 了不过是在 Ubuntu 上，我就尝试在 Solus 上进行安装，通过将简单的依赖问题解决后，卡在了这里报错：
但是文件 requirements_cp310-1.5.0.txt 明确写的是这个版本的依赖，我去 pip 上查看这个软件包，是这样子的：
可以看到，明确写的只支持到 Python3.7，最后我尝试到上游查看这个软件包的仓库，发现最新的提交已经支持到 Python3.10 了：
然后，我就手动修改这个包的 setup.py 文件，补丁如下：
diff --git a/tensorflow_estimator/tools/pip_package/setup.py b/tensorflow_estimator/tools/pip_package/setup.py
index 2568d6a..862cd6b 100644
--- a/tensorflow_estimator/tools/pip_package/setup.py
+++ b/tensorflow_estimator/tools/pip_package/setup.py
@@ -30,14 +30,14 @@ DOCLINES = __doc__.split('n')
# This version string is semver compatible, but incompatible with pip.
# For pip, we will remove all '-' characters from this string, and use the
# result for pip.
-_VERSION = '2.8.0'
+_VERSION = '2.8.0.dev2021122109'
REQUIRED_PACKAGES = [
# We depend on TensorFlow's declared pip dependencies.
# Add a new dep there if one is needed.
]
-project_name = 'tensorflow_estimator'
+project_name = 'tf-estimator-nightly'
if '--project_name' in sys.argv:
project_name_idx = sys.argv.index('--project_name')
project_name = sys.argv[project_name_idx + 1]
最重要的一个步骤是编译，这里就不能使用setup.py sdist这样的，需要参看仓库的 README，根据描述打包软件包，具体指令是：
bazel build //tensorflow_estimator/tools/pip_package:build_pip_package
bazel-bin/tensorflow_estimator/tools/pip_package/build_pip_package /tmp/estimator_pip
会在 /tmp 目录下打出 wheel 包，进行安装就可以了。安装好所有依赖的软件包后，使用 Python3.10 安装 rknn_toolkit2-1.5.0+1fa95b5c-cp310-cp310-linux_x86_64.whl 就可以了。
▸ python3.10 -m pip install dist/tensorflow_estimator-2.8.0-py3-none-any.whl
Defaulting to user installation because normal site-packages is not writeable
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Processing ./dist/tensorflow_estimator-2.8.0-py3-none-any.whl
Installing collected packages: tensorflow-estimator
Successfully installed tensorflow-estimator-2.8.0
接着就可以愉快地进行 pb 格式转换了，我使用的代码如下：
#!/usr/bin/python3.10
LABEL_PATH='./ImageNetLabels.txt'
MODEL_PATH='./imagenet_mobilenet_v2_035_224_classification_5'
CHECK_SRC='./goldfish_299x299.jpg'
import tensorflow as tf
import tensorflow_hub as hub
import numpy as np
import sys
from tensorflow.python.framework import convert_to_constants as _convert_to_constants
def h5_to_pb(h5_save_path):
model = tf.keras.models.load_model(h5_save_path, compile=False)
model.summary()
full_model = tf.function(lambda Input: model(Input))
full_model = full_model.get_concrete_function(tf.TensorSpec(model.inputs[0].shape, model.inputs[0].dtype))
# Get frozen ConcreteFunction
frozen_func = _convert_to_constants.convert_variables_to_constants_v2(full_model)
frozen_func.graph.as_graph_def()
layers = [op.name for op in frozen_func.graph.get_operations()]
print("-" * 50)
print("Frozen model layers: ")
for layer in layers:
print(layer)
print("-" * 50)
print("Frozen model inputs: ")
print(frozen_func.inputs)
print("Frozen model outputs: ")
print(frozen_func.outputs)
# Save frozen graph from frozen ConcreteFunction to hard drive
tf.io.write_graph(graph_or_graph_def=frozen_func.graph,
logdir="./frozen_models2",
name="model.pb",
as_text=False)
print("save mode with write_graph success")
def load_label_file(path):
f = open(path, 'r')
txt = []
for line in f.readlines():
curline=line.strip('n')
txt.append(curline)
#print(txt)
return txt
label_list = load_label_file(LABEL_PATH)
def load_and_format_img(path):
image = tf.io.read_file(path)
image = tf.image.decode_jpeg(image, channels=3)
image = tf.image.resize(image, [224, 224])
image /= 255.0
image_list = np.array(list(image))
image_list = image_list.reshape(1, 224, 224, 3)
return image_list
model_obj = hub.load(MODEL_PATH)
model = tf.keras.Sequential([hub.KerasLayer(model_obj)])
model.build([None, 224, 224, 3])
if len(sys.argv) > 1:
CHECK_SRC = sys.argv[1]
image4check = load_and_format_img(CHECK_SRC)
#print(image4check)
tf.saved_model.save(model, "imgnet.tf")
model.save("imgnet3.tf")
ans=model.predict(image4check, verbose=2)
print("--------------------------------begin--")
print(np.argmax(ans))
print(label_list[np.argmax(ans)])
print("--------------------------------end--")
h5_to_pb("imgnet3.tf")
可以看到，我在这里将从网上下载的模型 imagenet_mobilenet_v2_035_224_classification_5 转换为了 ./frozen_models2/model.pb 文件，测试结果如下所示：
省略 ...
--------------------------------begin--
2
goldfish
--------------------------------end--
省略 ...
至此， rknn-toolkit2 可以使用的 tensorflow 的 pb 文件已经有了，下一步是迁移到 YY3568 上进行测试了。我参考的是文件 rknn-toolkit2/examples/tensorflow/inception_v3_qat/test.py。进行修改后，最终内容如下：
#!/usr/bin/python3.10
import numpy as np
import cv2
import os
import urllib
import tarfile
import shutil
import traceback
import time
import sys
from rknn.api import RKNN
#PB_FILE = './imgnet.tf/saved_model.pb'
PB_FILE = './frozen_models2/model.pb'
RKNN_MODEL_PATH = './red_imagenet_mobilenet_v2_035_224_classification_5.rknn'
INPUTS = ['Input']
OUTPUTS = ['Identity']
IMG_PATH = './goldfish_224x224.jpg'
#IMG_PATH = './German-Shepherd_224x224.jpg'
#IMG_PATH = '/var/lib/nfs/yy3568/red_own_model/cat_224x224.jpg'
INPUT_SIZE = 224
def show_outputs(outputs):
output = outputs[0][0]
output_sorted = sorted(output, reverse=True)
top5_str = 'red imagenetn-----TOP 5-----n'
for i in range(5):
value = output_sorted[i]
index = np.where(output == value)
for j in range(len(index)):
if (i + j) >= 5:
break
if value > 0:
topi = '{}: {}n'.format(index[j], value)
else:
topi = '-1: 0.0n'
top5_str += topi
print(top5_str)
def readable_speed(speed):
speed_bytes = float(speed)
speed_kbytes = speed_bytes / 1024
if speed_kbytes > 1024:
speed_mbytes = speed_kbytes / 1024
if speed_mbytes > 1024:
speed_gbytes = speed_mbytes / 1024
return "{:.2f} GB/s".format(speed_gbytes)
else:
return "{:.2f} MB/s".format(speed_mbytes)
else:
return "{:.2f} KB/s".format(speed_kbytes)
def show_progress(blocknum, blocksize, totalsize):
speed = (blocknum * blocksize) / (time.time() - start_time)
speed_str = " Speed: {}".format(readable_speed(speed))
recv_size = blocknum * blocksize
f = sys.stdout
progress = (recv_size / totalsize)
progress_str = "{:.2f}%".format(progress * 100)
n = round(progress * 50)
s = ('#' * n).ljust(50, '-')
f.write(progress_str.ljust(8, ' ') + '[' + s + ']' + speed_str)
f.flush()
f.write('rn')
if __name__ == '__main__':
# Create RKNN object
rknn = RKNN(verbose=True)
# If inception_v3_quant_frozen.pb does not exist, download it.
# Download address:
# https://storage.googleapis.com/download.tensorflow.org/models/tflite_11_05_08/inception_v3_quant.tgz
if not os.path.exists(PB_FILE):
print('Oh no exist file ', PB_FILE)
exit
# Pre-process config
print('-- > Config model')
# 这里很重要，如果照抄 inception_v3_quant 的均值和标准值会导致分类有很大误差！！！
rknn.config(mean_values=[0, 0, 0], std_values=[255, 255, 255], target_platform='rk3568')
print('done')
# Load model
print('-- > Loading model')
ret = rknn.load_tensorflow(tf_pb=PB_FILE,
inputs=INPUTS,
outputs=OUTPUTS,
input_size_list=[[1, INPUT_SIZE, INPUT_SIZE, 3]])
if ret != 0:
print('Load model failed!')
exit(ret)
print('done')
# Build model
print('-- > Building model')
ret = rknn.build(do_quantization=True, dataset='./red_quantization.txt')
if ret != 0:
print('Build model failed!')
exit(ret)
print('done')
# Export rknn model
print('-- > Export rknn model')
ret = rknn.export_rknn(RKNN_MODEL_PATH)
if ret != 0:
print('Export rknn model failed!')
exit(ret)
print('done')
# Set inputs
img = cv2.imread(IMG_PATH)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
# Init runtime environment
print('-- > Init runtime environment')
ret = rknn.init_runtime()
if ret != 0:
print('Init runtime environment failed!')
exit(ret)
print('done')
# Inference
print('-- > Running model')
outputs = rknn.inference(inputs=[img])
np.save('./tensorflow_inception_v3_qat_0.npy', outputs[0])
x = outputs[0]
output = np.exp(x)/np.sum(np.exp(x))
outputs = [output]
show_outputs(outputs)
print('done')
rknn.release()
使用上述脚本进行测试，同样是 goldfish 的图片，结果如下：
省略 ...
red imagenet
-----TOP 5-----
[2]: 0.9564507007598877
[122]: 0.007486562244594097
[121]: 0.005268004257231951
[964]: 0.0018354274798184633
[119]: 0.0017108423635363579
done
可以看到也准确地识别出了 goldfish 的编号 2。
从图中可以看到仿真模拟结果显示的 Top5 内容，后续可以和在YY3568上实际运行的结果进行对比。
2. rknn-toolkit2转换后为什么和在原始的模型测试的不一致？
针对 rknn-toolkit2转换后为什么和在原始的模型测试的不一致？的问题，在上述代码中，我已经添加了注释，关键的处理在：rknn.config(mean_values=[0, 0, 0], std_values=[255, 255, 255]) 这里，其中 meas_value 表示对应的均值， std_values 表示对应的标准值。看下文档的描述会更清晰：
开始我照抄例程的这两个参数导致 PC 原始模型的结果和 rknn-toolkit2 转换之后的结果有很大误差。这里解决了之后就是简单在 YY3568 上使用 NPU 实际验证了。因为到目前位置，我们已经有了 xxxx.rknn 的模型文件，也有需要分类的图片，缺少一个在 YY3568 上运行的可执行程序，我使用的可执行程序是工程 external/rknpu2/examples/rknn_common_test。编译出来后，使用 nfs 挂载，在 YY3568 上测试，测试结果如下：
[root@RK356X:/media/red_nfs/yy3568/red_own_model/rknn_common_test_Linux]# ./rknn
_common_test ../red_imagenet_mobilenet_v2_035_224_classification_5_right.rknn ..
/goldfish_224x224.jpg
rknn_api/rknnrt version: 1.3.0 (9b36d4d74@2022-05-04T20:17:01), driver version: 0.7.2
model input num: 1, output num: 1
input tensors:
index=0, name=Input:0, n_dims=4, dims=[1, 224, 224, 3], n_elems=150528, size=150528, fmt=NHWC, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
output tensors:
index=0, name=Identity:0, n_dims=2, dims=[1, 1001, 0, 0], n_elems=1001, size=1001, fmt=UNDEFINED, type=INT8, qnt_type=AFFINE, zp=-66, scale=0.070292
custom string:
Begin perf ...
0: Elapse Time = 3.36ms, FPS = 297.53
---- Top5 ----
11.738696 - 2
7.029160 - 122
6.958868 - 121
5.693619 - 119
5.553036 - 964
可以看到也准确识别出来了类型编号为2。支持完成了自定义模型的测试以及迁移。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
【新品体验】风火轮YY3568开发板免费体验2023-06-25 0
-
【风火轮YY3568开发板免费体验】第六章：在Solus上运行自定义模型并迁移到YY3568对比测试2023-09-11 0
-
YY3568适配OpenHarmony2023-04-07 2332
-
使用YY3568开发板部署AI能力2023-11-28 1958
-
【风火轮YY3568开发板免费体验】开箱篇 -----最好的RK3568开发板赏析2023-08-07 0
-
【风火轮YY3568开发板免费体验】使用之二：系统测试安卓2023-08-09 0
-
【风火轮YY3568开发板免费体验】01.开箱、烧写系统2023-08-10 0
-
【风火轮YY3568开发板免费体验】第五章：在 Solus 上运行 npu 例程并搭建 nfs 环境实现在 YY3568 上实际运行 npu 例程2023-09-11 0
-
【风火轮YY3568开发板免费体验】+ YY3568安装运行Unity的自制游戏教程范例2023-11-14 0
-
【风火轮YY3568开发板免费体验】+ YY3568安装运行Home-Assistant服务端2023-11-14 0
-
风火轮科技YY3568开发板新品上市2023-04-27 1406
-
风火轮科技又发新品啦--YY3568开发板2023-05-05 866
-
RK3568 MIPI CSI摄像头GC8034适配工作流程2023-07-04 5389
-
【风火轮YY3568开发板免费体验】第一章：开发环境搭建，系统替换为原生Linux2023-08-09 1568
-
【风火轮YY3568开发板免费体验】第五章：在 Solus 上运行 npu 例程并搭建 nfs 环境实现在 YY3568 上实际运行 npu 例2023-08-19 1823
全部0条评论
快来发表一下你的评论吧 !
