实现产线机器学习的解决方案

近年来随着时代的变迁以及技术的发展，工业的制造型态也历经多次改革，而工业近期的重大转变发生于2011年由德国政府所发起的工业4.0（Industrie 4.0）计划，目的为将整体工业生产型态从原先的自动化进阶至智慧化。于此工业4.0的相关核心技术也如火如荼快速发展，例如物联网（IoT）、云端（Cloud）、大数据（Big Data）、人工智能（AI）及机器人等。

其中，人工智能的开发和应用近年来更是因应领域需求的不同，创造出许多崭新的训练方法与算法，在人工智能领域中最常被讨论的便是机器学习（Machine Learning）以及深度学习（Deep Learning）。而机器学习更可概略分为监督式学习（Supervised Learning）、非监督式学习（Unsupervised Learning）以及强化式学习（Reinforcement learning）三个面向，而本文主要应用的监督式学习，其原理便是透过标注数据特征与数据训练的方式来建立分类或模型。

监督式学习概略种类如图1所示。

图1 监督式学习简易分类

为了符合国际潮流与产业实际需求，本文将以拥有「工业之母」称号的模具产业为对象，使用射出成型机台做为示范，利用传感器搜集机台于生产时的音频，并透过监督式学习的方法来对数据进行标注与训练，最终产出能够自动辨识机台生产状态之AI最适模型。同时亦可透过计算机或智能型手持终端装置来实时接收机台生产信息，使生产机台、传感器、智能型手持终端装置与计算机四者之间形成一个完整的物联网。以下将对整体实验流程与软硬件配置进行详细的解说。

硬设备

表1 硬设备清单

本文所采用的传感器是QuickLogic的Merced HDK（Hardware Development Kit），此开发版非常适合下一代低功耗机器学习的物联网设备，同时Merced HDK搭载支持16KHz ODR数字麦克风、电子罗盘以及六轴陀螺仪（三轴陀螺仪与三轴加速器）。

而本文中所使用的数字麦克风型号为Knowles制造的SPH0641LM4H，拥有微型、高性能、低功耗等特性，该组件的SNR为64.3 dB、声压级94 dB、灵敏度-26 dB。而刻录模型所需的传输线规格为Sabrent的Type-A对Micro USB-B传输线，智能型手持终端装置因TestApp版本问题，故只能使用Android系统的ASUS ZenFone 5。

软件与驱动程序

表2 软件与驱动程序列表

本文将透过SensiML开发的三套软件来进行整体实验，首要是负责搜集、汇入、原始数据处理以及标注数据特征的Data Capture Lab，该软件亦可导入CSV和WAV等格式档案来进行数据处理，并将所有数据实时上传云端；接着，Analytics Studio是利用多样算法以及自定义参数来对已被标注数据进行高效率的模型推理软件，快速的产出高性能边缘运算模型；最后是安装于智能型手持装置上并透过与传感器连结来达到验证与实时辨识机台产状态的TestApp。

步骤1. 传感器安装

在准备好相关硬设备以及安装所需的软件/驱动程序之后便可开始进行实验。首先我们必须将传感器安装在合适的位置，此处需考虑安装位置的环境温度是否超出传感器的作业温度以及是否妨碍到机械生产作动，本文最终选择安装于射座之上，如图2所示。

图2 传感器安装位置

步骤2. 传感器初始状态设置

打开Data Capture Lab并建立项目，接着切换至Capture模式来新增传感器初始配置，点选Sensor Configuration的加号来进行设定，装置设定为Merced HDK (QuickAI)；使用数字麦克风组件；采样率为16 kHz，本文的配置如图3所示。

图3 传感器参数配置

接着，点选Find Devices透过低功耗蓝芽来对周遭的传感器进行扫描，选取目标传感器后点选Connect进行连结，如图4所示。

图4 传感器连接

与传感器成功连接之后，开始设定我们所想要进行训练的标签，点选Add Labels新增状态标签，如图5，此处本文预想辨识射出成型机基础操作中关模、射出、顶出三项作动，因此以这三项作动名称分别设置Label。

图5 新增状态标签

设置完Labels之后便可开始着手录制机台生产音频，并于录制前选取Label接着开始录制（图左），点选Begin Recording即可开始录制（图中），录制后可至Project Explorer查看录制完的档案（图右），档名会依照录制当下所选取的Label进行命名。

步骤3. 生产周期音频录制

于上述步骤设定好所需的关模、射出与顶出三项标签之后即可开始录制音频，本文搜集了多笔完整的生产周期音频，而录制的过程中将会产生.qlsm/.wav档案，并于汇入Data Capture Lab后会以音频波形图来呈现，如图6所示，另外亦可透过指令将其转换为MFCC进行比对。

注：梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficients, MFCC）

图6 生产周期音频波型图

我们可以从此音频与实际录像交叉比对后得知：(A)为关模；(B)为射出；(C)为顶出，并将波段放大来看即可明显分辨三者的差异性，如图7所示。

图7 波段放大图

步骤4. 标注作业

接着我们便可以对先前录制的所有生产音频进行标注作业，在Label Explorer模式下标注想撷取的片段，透过右键标注所要辨识的频谱特征段落，并于右方红框处设置该特征所代表的卷标，标注接口如图8所示。

图8 特征标注

步骤5. 模型训练

在Data Capture Lab标注完我们训练模型所需的数据片段后并储存上传至云端，接着开启Analytics Studio来进行模型训练。首先我们在Notebook新增Python 3项目，如图9，并输入程序代码来运行训练UI，如图10。

图9 Analytics Studio新增专案

图10 开启模型训练UI

接着在Project选择先前在Data Capture Lab内创建的专案，再新增一个Pipeline名称并点选Add，如图11。然后于Data Exploration内的Create New Query中输入名称并选择Device后点选Add，如图12。

图11 Pipeline建置

图12 Query建置

于此阶段我们已将模型训练所需的数据都准备好了，经确认右侧卷标名称与数据笔数无误后点选Save，为下一步骤的模型训练进行准备更新，如图13。

图13 Data Preparing

更新过后即可执行Model Building，然而需要特别注意一点是关于Window Size该项参数的设置，如图14中红框处，可以将其理解为讯号切割的区间大小，参数的大小需视音频特征是属于离散事件或连续事件而定，该参数将会直接影响整体模型准确率，经过本文反复试验后，以8000单位得到最佳约97 % (96.88 %)的准确率，如图15。同时，该软件的强大之处在于模型训练阶段会利用内建多样算法一次性产出五组最佳模型，因此我们能依照不同需求来挑选最适合的模型。

图14 训练参数设定

图15 5组模型产出

另外，我们亦可透过混淆矩阵来详细观察该模型的指针，如图16，本文以分类器大小、召回率以及F1-Score等评估指标为参考，选择编号0模型为最适模型。同时，我们亦可透过该模型的向量图或密度图来更进一步分析该模型的表现，如图18与图19所示，而此模型使用K-NN来进行分类，如图17。

图16 混淆矩阵

图17 模型算法构成

图18 密度图

图19 向量图

步骤6. 模型产出与刻录

在选定最适AI模型过后，为将其应用至传感器上，我们必须将该模型的Knowledge Pack进行打包与下载，如图20所示。

图20 Knowledge Pack生成

随后将传感器透过传输线与计算机链接，并把上述知识包中的.bin文件烧入至S3 AI芯片中，连接与刻录如图21与图22所示。

图21 传感器连接计算机

图22 开始刻录模型

刻录完成后即可进入logs文件夹观看纪录，若出现Success则代表刻录成功，Log内容如图23所示。

图23 Log檔

步骤7. 模型验证

成功将模型烧入传感器后，接着我们即可利用智能型手机来验证该模型是否正常运作，同时接收到最实时的生产状态信息。首先，打开Test APP并透过蓝芽与目标传感器进行链接，然后进入Setup events将先前Knowledge Pack中的model.json的卷标信息输入至字段中，如图24。标签状态设置完成后，倘若传感器正常运行且成功识别机台生产状态，便会在Last event detected实时更新状态，如图25所示。

图24 状态标签设定

图25 传感器状态辨识显示面板

小结

人工智能发展至今，已有许多软硬件的操作越趋人性化与便利，这样的好处是能让使用者能更专注在机器学习的应用层面，本文仅使用QuickLogic Merced HDK上的数字麦克风单元来搜集数据，而该开发版仍有许多感测组件可搜集更多元的原始数据。另外，日前QuickLogic也推出最新的开源(Open Source)硬件评估板QuickFeather，以更低成本提供更有弹性的设计。

https://www.quicklogic.com/products/eos-s3/quickfeather-development-kit/

因此希望本文能为大家提供参考，在机器学习领域利用不同的感测组件来发挥巧思与创意。

审核编辑：汤梓红