RPi上的简单对象检测之La Croix风味检测器

描述

 

 

Raspberry Pi 为机器学习提供了一个有趣的环境。它具有相对强大的 CPU 和 GPU，成本低廉，支持许多 Linux 包/驱动程序，并且仍然可以用作微控制器来与无数不同的传感器、电机和其他外围设备连接。正因为如此，我们有能力运行一些图像检测模型，同时根据模型检测到的内容控制硬件与现实世界进行交互。该项目的目标是提供一个有用的工作框架和环境，以便轻松地将对象检测和机器学习整合到您的所有项目中。

我们将使用 Teachable Machine 来做到这一点。Teachable Machine 是一种创建机器学习模型的简单、快速但功能强大的工具。它允许轻松捕获数据以创建训练数据集，并使用最先进的算法在您的浏览器中训练机器学习模型。它是在一个非常直观的网络界面中完成的。您可以生成图像、声音或姿势检测模型。在这个项目中，我将为您提供设置 OpenCV/TensorFlow Python 开发环境和 Python 脚本框架的分步指南，以便轻松地将 Teachable Machine 图像模型整合到您的项目中。

该项目的目标是大大降低使用机器学习的准入门槛。本教程应该为您提供制作一些令人兴奋的机器学习项目所需的工具。希望以后能用这个开发环境和框架做一些更有趣的教程和demo。

您可以跟随并生成自己的模型，也可以使用我生成的 Teachable Machine 模型。我提供的模型检测了您拥有的 La Croix 风味，以此作为功能的有趣演示。

该项目的 Github 存储库：https ://github.com/mjdargen/RPi-La-Croix-Flavor-Detector

补给品：

• Raspberry Pi（在 RPi3 Model B 和 RPi4 Model B 上测试）
• microSD 卡（最低 8 GB，推荐 16 GB）
• HDMI显示器
• 鼠标/键盘
• Raspberry Pi 摄像头模块或 USB 网络摄像头

第 1 步：使用可教机器生成模型

设置项目

Teachable Machine 是一款非常易于使用的工具，具有非常直观的界面。对于这个项目，我们将使用图像检测。转到https://teachablemachine.withgoogle.com/并单击开始。现在选择图像项目。这将打开图像模型训练窗口。

创建数据集

您将添加并命名要训练模型以检测的类（即对象）。用直观的名称很好地命名类。类的名称是稍后程序在该对象出现在框架中时调用的名称。

做一个“背景”类是个好主意。这可以帮助训练模型不将来自背景的细节归因于其他类之一。如果你将这个类命名为“Background”，最终的程序，它使用文本到语音来说出框架中对象的名称，将忽略背景类并且不会在每次它只是背景时调用“背景”在框架中。

要将图像示例添加到课程中，您可以使用网络摄像头在 Teachable Machine 中捕获图像或从其他来源上传图像。为了生成模型，您需要大量高质量的数据。你可以在我的“La Croix Flavor Detector Model”示例中看到，每个类我有不少于 600 个样本。我使用网络摄像头快速捕获了许多不同的样本。我确保在具有各种背景的不同照明条件下从各个角度捕捉对象，以生成准确的模型。

训练模型

设置好所有类并对数据集感到满意后，就该训练模型了！点击“火车模型”按钮。为了训练模型，您必须在浏览器中打开该选项卡。训练模型可能需要一段时间。在这个项目中，我有 7 个班级，超过 600 个样本，训练大约需要 20 分钟。您的浏览器可能偶尔会抱怨“可教机器”选项卡会降低您的浏览器速度。只需确认通知并说没关系，这样您的浏览器就不会取消培训（不同的浏览器对此通知的措辞不同）。完成后，就该测试您的模型了！

预览模型

现在是时候测试你的训练模型了，看看它的效果如何！转到“预览”窗格并打开输入。将各种对象呈现给网络摄像头，并查看模型是否准确猜测帧中的对象。请记住，模型无法检测到多个对象，除非您为两个对象存在时创建了一个类。如果效果不佳，请尝试为模型提供更多照片。如果您满意，是时候导出模型了！

导出模型

要导出模型，请单击“导出模型”按钮。将弹出一个新窗口。点击“Tensorflow”选项卡，选择“Keras”模型转换类型。现在单击“下载我的模型”。压缩模型并准备下载可能需要大约一分钟左右的时间。您应该会看到一个弹出窗口，要求您保存一个 zip 文件。保存文件并解压缩。您应该会看到一个“keras_model.h5”文件和一个“labels.txt”文件。坚持这些，一旦您在计算机上设置了 Python 环境，我们就会使用它们！

第 2 步：设置树莓派

 

 

 

 

 

1 / 3

 

如果您尚未在 Raspberry Pi 上设置操作系统，您需要从 Raspberry Pi Foundation 的网站（https://www.raspberrypi.org/downloads/raspbian/ ）下载“Raspbian Buster with desktop and Recommended software” ）。任何最新版本的 Raspbian Buster 都应该可以正常工作。这将安装带有 Python 3 的完整版本以及一些编程 IDE。提取 .img 文件并使用 SD 卡成像器程序（如 Rufus、balenaEtcher、Win32DiskImager 或其他）将图像写入您的 microSD。Raspberry Pi 基金会在此处编写了有关如何将操作系统映像安装到您的 Raspberry Pi 的详尽指南。

完成 SD 卡的映像后，将其插入 Raspberry Pi 并打开电源。它应该自动进行一些初始设置（调整屏幕大小、扩展文件系统等）。桌面加载后，会弹出一个窗口，提示您执行一些设置步骤。您将需要设置您的语言环境、wifi、确认桌面是否显示黑色边框、允许 Raspberry Pi 更新（这可能需要一段时间），然后重新启动。

成功更新并重新启动 Raspberry Pi 后，桌面现在应该会在没有提示的情况下加载。单击右上角的 Raspberry Pi 图标以显示下拉菜单。转到“首选项-> Raspberry Pi 配置”。将显示 Raspberry Pi 配置窗口。导航到“接口”选项卡并启用相机。将出现一个提示，告诉您重新启动 Raspberry Pi。单击是，让您重新启动 Raspberry Pi。

Raspberry Pi 启动后，打开一个终端来测试您的相机。确保正确连接相机的带状电缆，然后键入以下命令：

raspistill -v -o test.jpg

这将在终端中显示有关您的相机的信息并拍照。它将照片保存为 test.jpg 并将其存储在您运行命令的目录中。在文件浏览器中导航到该目录并打开文件以确保相机正常工作并拍摄照片。以下链接提供了有关使用 Raspberry Pi 相机的更多信息。

https://www.raspberrypi.org/documentation/configuration/camera.md

https://www.raspberrypi.org/documentation/raspbian/applications/camera.md

如果您使用的是 USB 网络摄像头，则可以按照以下详细步骤进行操作。

https://www.raspberrypi.org/documentation/usage/webcams/

第 3 步：设置 Raspberry Pi 环境

。您需要注释掉“cv2.imshow”和“cv2.waitKey”行。该程序将标记它识别的对象，并将使用文本到语音来说出对象的名称。

cd ~/Documents/Teachable-Machine-Object-Detection	# change directory to repo
source TMenv/bin/activate		# activate venv
python tm_obj_det.py			# executes script, press ctrl+c to quit
deactivate				# to exit the virtual environment

注意：当您运行脚本时，您可能会看到来自 Python 的许多不同的抱怨。这是意料之中的，您的程序应该仍能正常运行。这又是由于您在 Raspberry Pi 上遇到的一些奇怪的依赖问题。我不得不恢复到一些 Python 包的旧版本才能让它工作。正因为如此，有一些关于某些东西在未来版本中被弃用的抱怨，等等。我只是想让你知道，所以你不认为程序没有工作。

注意：Python 脚本将永远运行，直到您按 ctrl+c 关闭程序。

第 7 步：混音！

这些安装在你的虚拟环境中的包和我提供的脚本应该会给你一个有用的框架来开发很多令人兴奋的东西。您现在可以轻松地将对象检测整合到您的所有项目中！Raspberry Pi 为此提供了一个完美的环境，因为它可以轻松地与不同的传感器、电机和其他外围设备连接。我希望继续在这个领域做更多的项目，以制作一些使用图像检测和利用这个框架的更有趣的项目。

这里有一些项目想法。随意带他们一起跑，或者想出你自己的！

• 一个程序来识别你的朋友并在他们来到你家时用名字打招呼。
• 一个程序，用于检测您何时离开家，并要求您出示手机、钥匙、钱包等，以确保您在离开家时拥有一切。
• 构建一个分拣机，该分拣机使用电机根据对象的特定方向将对象转移到特定方向。
• 一个程序，它将检测手语中的字母并将其写入文本文件。

更多项目

更多项目，请访问我的页面：

• https://dargen.io
• https://github.com/mjdargen
• https://www.hackster.io/mjdargen
• https://www.buymeacoffee.com/mjdargen