如何使用适用于微控制器的TensorFlow Lite

CEVA 是无线连接和智能传感技术的领先授权商。我们的产品可帮助原始设备制造商 (OEM) 为移动设备、消费者、汽车、机器人、工业和物联网等多种终端市场，设计节能、智能和联网的设备。

CEVA
https://www.ceva-dsp.com/

在本文中，我们将说明如何使用适用于微控制器的 TensorFlow Lite (TensorFlow Lite for Microcontrollers, TFLM)，在基于 CEVA-BX DSP 内核的裸机开发板上部署名为 WhisPro 的语音识别引擎及前端。WhisPro 可在设备端有效识别随时出现的唤醒词和语音命令。

适用于微控制器的 TensorFlow Lite
https://tensorflow.google.cn/lite/microcontrollers

图 1 CEVA 多麦克风 DSP 开发板

WhisPro 简介

WhisPro 是语音识别引擎及前端，主要在低功耗、资源受限的边缘设备上运行，包含负责音频样本处理到检测的整个数据流。

WhisPro 支持两种边缘设备用例：

始终开启的唤醒词检测引擎。在此用例中，WhisPro 用于在检测到预定义的短语时唤醒处于睡眠模式下的设备。

语音指令。在此用例中，WhisPro 用于启用基于语音的接口。用户可以使用自己的声音来控制设备。常用指令有：调高音量、调低音量、播放、停止等。

WhisPro 可在集成了 CEVA BX DSP 内核的任何 SoC 上启用语音接口，从而为希望参与语音接口变革的 OEM 和原始设计制造商 (ODM) 降低了准入门槛。

我们的动机

最初，WhisPro 是使用名为 CEVA NN Lib 的内部神经网络库实现的。尽管该实现具有出色的性能，但是开发过程相当复杂。我们意识到，我们可以通过移植 TFLM 运行库，并针对目标硬件对其进行优化的方式，让整个模型移植过程将变得透明且更加可靠（大幅减少需要编写、修改和维护的代码量）。

为 CEVA-BX DSP 系列构建 TFLM

首先，我们需要弄清楚如何将 TFLM 移植到我们的平台上。我们发现，遵循《指南：移植到新平台》会非常有用。

指南：移植到新平台
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/micro/docs/new_platform_support.md

在指南的指导下，我们执行了以下操作：

验证我们的平台支持 DebugLog() 实现。

在 CEVA 基于 Eclipse 的 IDE 中创建 TFLM 运行库项目：

在 CEVA 的 IDE 中创建新的 CEVA-BX 项目

将所有必需的源文件添加到项目中

为 CEVA-BX 内核构建 TFLM 运行库。
这需要对路径（并非所有必需文件都在“micro”目录下）、链接器脚本文件等编译器标记进行常规的调整。

DebugLog() 
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/micro/debug_log.cc

模型移植过程

我们将从模型中的 Keras 实现开始演示。以下是我们在裸机目标硬件上部署模型所采取的步骤：

使用 TF 内置转换器将 TensorFlow 模型转换为 TensorFlow Lite 模型：

$ python3 -m tensorflow_docs.tools.nbfmt [options] notebook.ipynbconverter = tf.lite.TFLiteConverter.from_keras_model(keras_model) converter.experimental_new_converter = True tflite_model = converter.convert() open("converted_to_tflite_model.tflite", "wb").write(tflite_model)

执行量化操作：

$ python3 -m tensorflow_docs.tools.nbfmt [options] notebook.ipynbconverter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE] converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8] converter.representative_dataset = representative_data_gen

使用 xxd 将 TensorFlow Lite 模型转换为 TFLM 模型：

$ python3 -m tensorflow_docs.tools.nbfmt [options] notebook.ipynb$> xxd –I model.tflite > model.cc

TF 内置转换器
https://tensorflow.google.cn/lite/convert

量化
https://tensorflow.google.cn/lite/performance/model_optimization#quantization

xxd
https://linux.die.net/man/1/xxd

这里，我们发现TFLM（在当时）未能很好地支持模型的某些层（如GRU）。我们期待，随着 TFLM 的继续完善，以及 Google 和 TFLM 社区的持续投入，类似问题将大幅减少。

在我们的案例中，我们选择了相对容易的方式：在完全连接层方面重新实现GRU层。

集成

接下来是将 TFLM 运行库和转换后的模型集成到我们现有的嵌入式 C 前端。该前端将处理音频预处理和特征提取操作。

即使我们的前端在编写时并未考虑 TFLM，但因其有较高的模块化程度，可通过实现单个简单的封装容器函数来轻松完成集成，具体步骤如下：

将 TFLM 运行库链接到我们的嵌入式 C 应用（WhisPro 前端）

实现 wrapper-over-setup 函数，用于将模型映射到可用的数据结构中，以分配解释器和张量

实现 wrapper-over-execute 函数，用于将 WhisPro 前端传递的数据映射到实际执行函数使用的 tflite 张量

将对原始模型执行函数的调用替换为对 TFLM 实现的调用

过程可视化

模型的移植过程将由以下两者执行：

微控制器供应商（在本例中为 CEVA），负责为自身硬件架构优化 TFLM。

微控制器用户（在本例中为 CEVA WhisPro 开发者），负责使用优化的 TFLM 运行库在目标微控制器上部署基于神经网络的模型。

未来计划

此项研究已证实 TFLM 平台对我们非常重要。此外，通过支持 TFLM，我们可以在边缘设备上轻松部署神经网络模型，从而为我们的客户和合作伙伴带来更多的价值。我们致力于通过以下方式在 CEVA-BX DSP 系列上深化对 TFLM 的支持：

积极开发 TFLM 项目，以便提高层覆盖率和平台总体的成熟度。

对于在 CEVA-BX 内核上执行的 TFLM 运算符，加大对其的优化力度，以实现完整覆盖。

最终想法

尽管移植过程中遇到了一些困难，但我们最终还是取得了巨大的成功，整个项目耗时约 4 至 5 天。除此之外，从头开始用 C 语言实现模型，以及手动编写从 Python 到 C 的模型转换脚本还需要耗费 2 至 3 周的时间，并进行大量的调试工作。

责任编辑：lq