使用Teachable Machine和Python轻松进行对象检测

描述

Teachable Machine 是一种创建机器学习模型的简单但强大的工具。它允许轻松捕获数据以创建训练数据集，并使用最先进的算法在您的浏览器中训练机器学习模型。它是在一个非常直观的网络界面中完成的。您可以生成图像、声音或姿势检测模型。在这个项目中，我将为您提供设置 OpenCV/TensorFlow Python 开发环境和 Python 脚本框架的分步指南，以便轻松地将 Teachable Machine 图像模型整合到您的项目中。

该项目的目标是大大降低使用机器学习的准入门槛。本教程应该为您提供制作一些令人兴奋的机器学习项目所需的工具。希望以后能用这个开发环境和框架做一些更有趣的教程和demo。

您可以跟随并生成自己的模型，也可以使用我生成的 Teachable Machine 模型。我提供的模型可以检测您的 La Croix 风味。

该项目的 Github 存储库：https ://github.com/mjdargen/Teachable-Machine-Object-Detection

编辑：我现在创建了一个在 Raspberry Pi 上设置相同环境的版本：https ://www.hackster.io/mjdargen/easy-object-detection-on-rpi-la-croix-flavor-detector-93f0a4

补给品：

• 计算机（在 Windows 10、Ubuntu 18.04、MacOS High Sierra 10.13 中测试）
• Python 3（经过测试的 Python 3.6 和 Python 3.7）
• 摄像头

第 1 步：使用可教机器生成模型

设置项目

Teachable Machine 是一款非常易于使用的工具，具有非常直观的界面。对于这个项目，我们将使用图像检测。转到https://teachablemachine.withgoogle.com/并单击开始。现在选择图像项目。这将打开图像模型训练窗口。

创建数据集

您将添加并命名要训练模型以检测的类（即对象）。用直观的名称很好地命名类。类的名称是稍后程序在该对象出现在框架中时调用的名称。

做一个“背景”类是个好主意。这可以帮助训练模型不将来自背景的细节归因于其他类之一。如果你将这个类命名为“Background”，最终的程序，它使用文本到语音来说出框架中对象的名称，将忽略背景类并且不会在每次它只是背景时调用“背景”在框架中。

要将图像示例添加到课程中，您可以使用网络摄像头在 Teachable Machine 中捕获图像或从其他来源上传图像。为了生成模型，您需要大量高质量的数据。你可以在我的“La Croix Flavor Detector Model”示例中看到，每个类我有不少于 600 个样本。我使用网络摄像头快速捕获了许多不同的样本。我确保在具有各种背景的不同照明条件下从各个角度捕捉对象，以生成准确的模型。

训练模型

设置好所有类并对数据集感到满意后，就该训练模型了！点击“火车模型”按钮。为了训练模型，您必须在浏览器中打开该选项卡。训练模型可能需要一段时间。在这个项目中，我有 7 个班级，超过 600 个样本，训练大约需要 20 分钟。您的浏览器可能偶尔会抱怨“可教机器”选项卡会降低您的浏览器速度。只需确认通知并说没关系，这样您的浏览器就不会取消培训（不同的浏览器对此通知的措辞不同）。完成后，就该测试您的模型了！

预览模型

现在是时候测试你的训练模型了，看看它的效果如何！转到“预览”窗格并打开输入。将各种对象呈现给网络摄像头，并查看模型是否准确猜测帧中的对象。请记住，模型无法检测到多个对象，除非您为两个对象存在时创建了一个类。如果效果不佳，请尝试为模型提供更多照片。如果您满意，是时候导出模型了！

导出模型

要导出模型，请单击“导出模型”按钮。将弹出一个新窗口。点击“Tensorflow”选项卡，选择“Keras”模型转换类型。现在单击“下载我的模型”。压缩模型并准备下载可能需要大约一分钟左右的时间。您应该会看到一个弹出窗口，要求您保存一个 zip 文件。保存文件并解压缩。您应该会看到一个“keras_model.h5”文件和一个“labels.txt”文件。坚持这些，一旦您在计算机上设置了 Python 环境，我们就会使用它们！

第 2 步：安装 Python 3 和 Git

Python 3 安装和设置

如果您的机器上尚未安装 Python 3，您需要做的第一件事是安装它。转到https://www.python.org/downloads/并为您的操作系统下载并运行正确的安装。我已经在 Python 3.6 和 Python 3.7 中测试了这个开发环境，一切似乎都正常工作。然而，Python 3.8 似乎还没有完全支持其中一些库。我建议为您的环境安装最新版本的 Python 3.7。在安装过程中，确保选中复选框以将 Python 添加到路径。

完全安装 Python 并将 Python 添加到 Path 后，打开终端或命令提示符并输入“python --version”，然后输入“python3 --version”。这很重要，因为我们想知道“python”或“python3”命令是否映射到您的 Python 3 安装。您需要知道这一点才能运行您的 Python 脚本、安装新的 Python 包等。如果没有可执行文件映射到 python 或 python3，请查找将环境变量添加到您的操作系统的路径。

在上图中的第一个示例中，您可以看到“python”调用 Python 3，而“python3”没有调用任何内容。在图像的第二个示例中，“python3”调用您的 Python 3 安装。这是因为有一个 Python 2 安装映射到第二个示例中的“python”命令。

Git 项目文件

现在您需要从我的 Github 存储库中检索安装文件、机器学习模型和演示 Python 程序。您可以安装 git 客户端并克隆存储库，也可以从浏览器下载存储库的 zip 文件。

https://github.com/mjdargen/Teachable-Machine-Object-Detection

git clone https://github.com/mjdargen/RPi-La-Croix-Flavor-Detector

第 3 步：设置 Python 环境：OpenCV 和 TensorFlow

我已经编写了安装脚本来简化这个开发环境的安装过程。上面列出了安装脚本。只需为您的操作系统选择适当的脚本。

我现在在这里创建了一个在Raspberry Pi上设置相同环境的版本：https ://www.hackster.io/mjdargen/easy-object-detection-on-rpi-la-croix-flavor-detector-93f0a4

Windows 安装

• 假设您已安装 Python 3。
• 假设您的 Python 3 可执行文件是使用“python”调用的。如果不是这种情况，您将需要编辑批处理脚本并将“python”命令的每个实例替换为“python3”。
• 从 Powershell 运行批处理脚本：“./installation_scripts/windows_install.bat”（不要以管理员身份运行）。
• 可能需要约 30 分钟或更长时间，具体取决于您的系统和互联网连接。

Mac 安装

• 假设您已安装 Python 3。
• 假设您的 Python 3 可执行文件是使用“python3”调用的。如果不是这种情况，您将需要编辑 shell 脚本并将“python3”命令的每个实例替换为“python”。
• 导航到终端中存储库的文件夹。
• 您需要通过运行以下命令使脚本可执行：“sudo chmod +x./installation_scripts/mac_install.sh”
• 使用以下命令运行 shell 脚本：“./installation_scripts/mac_install.sh”。
• 此安装脚本还安装Homebrew 包管理器。
• 可能需要约 30 分钟或更长时间，具体取决于您的系统和互联网连接。

Linux 安装

• 假设您已安装 Python 3。
• 假设您的 Python 3 可执行文件是使用“python3”调用的。如果不是这种情况，您将需要编辑 shell 脚本并将“python3”命令的每个实例替换为“python”。
• 导航到终端中存储库的文件夹。
• 您需要通过运行以下命令使脚本可执行：“sudo chmod +x./installation_scripts/linux_install.sh”
• 使用以下命令运行 shell 脚本：“./installation_scripts/inux_install.sh”。
• 可能需要约 30 分钟或更长时间，具体取决于您的系统和互联网连接。

使用 Python 虚拟环境

如果安装脚本成功执行，您现在已经安装了所有必要的依赖项，以便在您机器上的 Python 虚拟环境中运行 OpenCV 和 Tensorflow。虚拟环境称为 TMenv，位于克隆存储库的顶层目录中，标题为“Teachable-Machine-Object-Detection”。

Python 包安装在虚拟环境中，以免破坏与 Python 的主要安装相关的包，以防您有其他程序依赖于特定版本的包。

要使用您安装的软件包来运行演示，您需要激活您的虚拟环境。

• Mac/Linux：“源 TMenv\bin\activate”
• Windows：“TMenv\Scripts\activate”

激活环境后，它将在终端提示之前的括号中显示虚拟环境的名称。此时您所做的与 Python 相关的任何操作都只会影响您的 TMenv 虚拟环境。您现在可以在虚拟环境中运行 Python 脚本。要退出您的虚拟环境，只需运行命令“deactivate”。

第 4 步：OpenCV 常见对象检测测试

。您需要注释掉“cv2.imshow”和“cv2.waitKey”行。该程序将标记它识别的对象，并将使用文本到语音来说出对象的名称。

cd ~/Documents/Teachable-Machine-Object-Detection     	# change directory to cloned repo
source TMenv/bin/activate  		# activate venv for Mac/Linux OR
TMenv/Scripts/activate			# activate venv for Windows
python tm_obj_det.py			# executes script, press ctrl+c to quit
deactivate				# to exit the virtual environment

注意：Python 脚本将永远运行，直到您按 ctrl+c 关闭程序。

第 7 步：混音！

这些安装在你的虚拟环境中的包和我提供的脚本应该会给你一个有用的框架来开发很多令人兴奋的东西。您现在可以轻松地将对象检测整合到您的所有项目中！我希望继续在这个领域做更多的项目，以制作一些使用图像检测和利用这个框架的更有趣的项目。

这里有一些项目想法。随意带他们一起跑，或者想出你自己的！

• 一个程序来识别你的朋友并在他们来到你家时用名字打招呼。
• 一个程序，用于检测您何时离开家，并要求您出示手机、钥匙、钱包等，以确保您在离开家时拥有一切。
• 构建一个分拣机，该分拣机使用电机根据对象的特定方向将对象转移到特定方向。
• 一个程序，它将检测手语中的字母并将其写入文本文件。