资料下载
低功耗AIoT智能相机开源分享
kmno4
分享资料个
描述
基于 Raspberry Pi Zero W 和 Google Coral EdgeTPU 的低功耗（'ish）AIoT 智能相机（3D 打印）
https://github.com/ricardodeazambuja/Maple-Syrup-Pi-Camera
曾几何时，我开始了一个项目，我们想了解游客在参观景点时的行为。传统上，研究人员会去那些地方并手动记笔记，以了解访问者最喜欢什么，他们在哪里度过的时间等。但是，我是一名电气工程师，所以我觉得有必要将任务自动化。起初，我考虑使用“哑”传感器，这些传感器只能计数，或者在最好的情况下，只能告诉人们移动的方向，但这会限制我们可以回答的问题类型。
我真正想要的是一个工具，它可以做与研究人员手动注释事物相同的工作。研究人员将使用她/他的眼睛和人体中最复杂的器官：全能的大脑来完成这项任务！我们仍然没有人类大脑（甚至是苍蝇大脑......），但至少我们有深度学习！
很明显，这个项目需要一个能够使用视觉来理解世界的传感器。这可以通过摄像头和基于深度学习的算法来解决（对于通常意味着深度卷积神经网络的图像）) 就像一个物体检测器。尽管如此，就在不久前，过去的做法是保存图像（或发送到某个地方）并使用强大、耗电的 GPU 处理它们。但是，保存（或传输）图像会引发一些与隐私相关的严重问题。避免这种情况的一种方法是“在边缘”处理所有内容，以使结果不包含任何个人信息。对于普通人来说，带有网络摄像头的游戏笔记本电脑就足以证明概念，但我已经在思考，因为我记得我以前使用笔记本电脑运行演示的经历，周围有很多人，被电缆绊倒，设备掉到地面，电池变平的速度比预期的快，等等。
已经有相当多的智能相机允许您在边缘运行深度神经模型（例如JeVois 、OpenMV 、OpenCV OAK等），但是将我自己的系统放在一起会给我更多的自由和灵活性。因此，我决定使用Raspberry Pi Zero W 、Raspberry Camera V2和Google Coral USB 加速器. 我不会躺在这里，我选择这套特殊工具的原因之一是很平凡的：我有使用它们的经验，当我们处于另一次封锁期间时，我把它们放在家里。但是这种设置的杀手锏是它的功耗非常低且体积小，让我可以用普通的移动电源为它供电一整天，并且由于体积小，它可以轻松部署在任何地方。
人们问我为什么选择在这个项目中使用 Raspberry Pi Zero，因为它不是一个强大的单板计算机。正如我所提到的，我本可以尝试现成的智能相机，但 Raspberry Pi 是有史以来最畅销的通用计算机之一（击败了 Commodore 64，4 年前的数字！），因此它拥有一个庞大的社区。当您需要寻找驱动程序或如何解决问题时，这让生活变得更加轻松。除此之外，去年我发布了关于灵活、抗碰撞、四轴飞行器的工作，它的大脑...... Raspberry Pi Zero W！因此，我对使用 Zero 非常熟悉，我希望Raspberry Pi 基金会很快会进行升级（也许在 RPI Zero PCB 中添加一个 RP2040？）。
如何建立自己的
硬件
- 树莓派零 W
- 树莓派相机（+ RPI 零扁平电缆）
- 珊瑚 USB 加速器
- USB-C 转 micro USB 数据线（或适配器）
- Micro SDCard（如果您想使用我们的图像，建议使用 8GB）
- 3D打印零件
软件
简单的方法
这个 repo 中可用的图像预先安装了许多有趣的东西，它的默认用户是pi和密码maplesyrup（是的，我喜欢 maplesyrup）。另一个有趣的东西是 Jupyter Notebook Server。它在测试事物时有很大帮助。您可以通过运行来启动它/home/pi/launch_jupyter.sh（它有时很慢，但非常有用）并且再次输入密码maplesyrup（您的浏览器会抱怨说它不是安全连接，因为服务器使用的是自签名证书）。
- 在此处下载可用的图像，并使用Raspberry Pi Imager将其闪存到您的卡中。
艰难的路（为什么你不能走简单的路？！？！哈哈）
- 您至少需要安装libedgetpu 和 tflite_runtime 。请注意，此 tflite_runtime 版本是为 Python 3.7 编译的。
- 除了上面的软件，你还需要安装Picamera 、Pillow ...
额外说明
- USB 连接器由 Coral USB 加速器使用，因此如果您使用 Maple-Syrup-Pi-Camera无头相机会更容易。此处提供了 wifi 配置文件的完整示例（您只需对其进行修改并复制到将 SDCard 连接到计算机时出现的引导分区）。
- 该图像已启用 SSH，您可以在此处了解有关如何使用 SSH 进行连接的更多信息。
- 如果您是 Unix 用户，您甚至可以在您的计算机上挂载 RPI 文件系统并远程使用 VSCode 。
使用示例
速度
RPI 零 W 具有 USB 2.0 连接，理论速度为 480Mbit/s (50MB/s)，但它永远不会接近这个速度，因为 RPI0 有一个单核 ARMv6 CPU（没有免费的午餐！）。因此，Google Coral USB 加速器经常受到 USB 带宽或 RPI0 与其交换数据的能力的限制。不过，这一事实在保持低平均功耗方面发挥了作用。需要后处理或使用自定义 OP（EdgeTPU 编译器在主机中运行这些操作）的模型也会受到 USB 带宽小和 ARMv6 单核薄弱的影响。
能量消耗：
RPI Zero W 在其 5V 输入端没有保护电路，因此它将 USB 电源直接连接到电源。这意味着 Coral USB 加速器将直接连接到电源，使其能够在 microUSB + PCB 走线的电源和阻抗允许的范围内消耗尽可能多的电流。根据Google Coral USB 加速器数据表，仅加速器就可以消耗高达 900mA（峰值）的电流。RPI 零 W 的典型功耗为 150mA 。在我的实验中，Maple-Syrup-Pi-Camera 在空闲时（800mW）在 5V 时消耗大约 160mA。
功耗示例：
使用爱好级 USB 功率计（以及声明它可以在 5V 下提供高达 2A 电流的移动电源）：
- MultiPose在 5V (1.75W) 时显示 350mA 的峰值
- 自动车牌识别在 5V (2W) 时显示 400mA 的峰值
- 面罩检测（面罩、无面罩、差面罩）在 5V (2.1W) 时显示 420mA 的峰值
致谢：
- 改编自https://www.thingiverse.com/thing:2254307的 3D 零件
- 关于如何使用 docker 创建 RPI 图像的说明
- 一些模型和项目示例来自https://coral.ai/examples/和https://github.com/google-coral/pycoral
- SDCard 图像改编自碰撞弹性四轴飞行器 CogniFly 。
- 多亏了Netron ，生活变得轻松多了
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- 相关下载
- 相关文章
