资料下载
基于Nano 33 BLE Sense的数字魔杖
康辅佑
分享资料个
描述
我们构建了一个数字“魔杖”，可以挥动它来铸造各种字母。它以多维传感器数据作为输入数据，其输出将是一个简单的分类，以指示运动所属的类别。我们利用深度学习的魔力将普通的数字数据转化为有意义的信息！
魔杖通过点亮 LED 对每个咒语做出反应。此外，它还会向其串口输出信息，可以在终端上观察到。
魔术从这里开始！
序幕
手势识别是计算机视觉中的一个主题，旨在通过数学算法解释人类手势。手势可以源自任何身体动作或状态，但通常源自面部或手部。
在计算机界面中，可以区分两种类型的手势。我们首先考虑在线手势，也可以将其视为缩放和旋转等直接操作。相比之下，离线手势通常在用户与对象交互之后进行处理。在这个项目中，我们专注于离线手势。
我们的神奇模型
我们的手势检测模型是一个卷积神经网络，重量约为 20 KB，它接受原始加速度计值作为其输入。每个值都是一个 32 位浮点数，表示该方向的加速度量。
该模型接受了由许多人执行的四种手势的训练。它输出四个类的概率分数：一个代表每个手势，如下图所示。
三个可识别的手势
魔法工厂
我们的魔法棒基于 Nano 33 BLE Sense（无接头）的魔法工厂。Nano 33 BLE Sense（不带接头连接器）是 Arduino 的 3.3V 人工智能开发板，具有最小的可用外形尺寸：45x18mm！
Nano 33 BLE Sense（无接头）
魔术表演
我们基本上按照《Tinyml：在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 进行机器学习》一书第 12 章和第 13 章中的过程构建应用程序。我们最终在 RHEL 7 平台上实现了奇迹！
我们的实验是在配备主频为 3.50GHz 和 32 GB 内存的英特尔(R) 至强(R) CPU E3-1245 v5 的台式机上执行的。
结语
一个有趣的方向是尝试使用阈值来使手势更容易或更难执行（以更多的误报或漏报为代价）。我们还将玩不同手势的模型，例如Squid Game系列中的“星形”、“圆形”、“三角形”甚至“伞形”！
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- 相关下载
- 相关文章
