使用Home Assistant进行TensorFlow对象检测

描述

介绍

警告：目前 Home Assistant 中的 Tensorflow 集成存在问题，这是由于在多个平台上支持 Tensorflow 的复杂性而出现的。除非您对调试安装问题非常有信心，否则我不建议您尝试遵循本指南。另请注意，Hassbian 不再由 Home Assistant 维护。

TensorFlow是一种流行的开源机器学习框架，可用于图像处理中的广泛应用，特别是用于对象检测。家庭自动化项目中有许多对象检测应用，例如在摄像头输入中定位车辆或宠物等对象，然后根据这些对象的存在执行操作（使用自动化）。Home-Assistant是一个流行的开源 Python 3 家庭自动化平台，可以在 Raspberry Pi 上运行。TensorFlow 对象检测在一些设置后可在 Home-Assistant 中使用，允许人们在他们的家庭自动化项目中开始使用对象检测，而无需大惊小怪。Home-Assistant 文档提供了开始使用 TensorFlow的说明对象检测，但所描述的过程比典型的家庭助手组件要复杂一些。如文档所述，此组件需要下载文件，在您的计算机上编译，并添加到 Home Assistant 配置目录。我在 GitHub 上托管了一些代码来简化设置过程，本指南将介绍熟悉的 Raspberry Pi 硬件上的简化设置过程。

家庭助理设置

我在 Raspberry Pi 4 上使用 Home-Assistant 0.98 版的 Hassbian 部署，但请注意，其他 Home-Assistant 部署的步骤应该相同（警告，Hassio 还不允许安装 TensorFlow，所以不要尝试它）。关于硬件的说明，TensorFlow 模型需要大约 1 GB 的 RAM，因此虽然可以在 RPI3 上运行，但体验太差了，我什至不建议尝试。作为最低要求，我推荐具有 > 2GB RAM 的 RPI4。

有关设置的更多信息，请参阅Hassbian 文档，但基本过程是：

• 将 Hassbian 磁盘映像闪存到 SD 卡（我使用Etcher ）
• 将您的 Wifi 凭据添加到 SD 卡上的文本文件中
• 将 SD 卡插入您的 Pi
• 插入键盘并显示到 Pi 以监控安装过程

您可以通过连接到 Pi 的键盘来完成整个 TensorFlow 设置，但我建议通过 Hassbian 脚本安装Cloud9 Web IDE。此 IDE 允许您从网络上的任何计算机通过 Home-Assistant 前端执行 TensorFlow 设置过程。按照此处的说明安装 Cloud9 ，然后导航到http://hassbian.local:8181您现在可以使用面板 iframe在 Home-Assistant GUI 上显示 Cloud9 IDE ，通过添加到 Home-Assistant configuration.yaml文件进行配置（通过 Cloud9 IDE 编辑）：

panel_iframe:    
cloud9:    
  title: cloud9    
  icon: mdi:wrench    
  url: http://hassbian.local:8181/ide.html

编辑文件后，最好使用配置验证工具。要使用它，从侧面板，配置 -> 常规 -> 检查配置（在配置验证下））。

 

图 1. 显示 OK 配置的配置验证工具。

 

如果您从配置检查工具中获得确定，则需要重新启动 Home-Assistant 以使更改生效（从侧面板配置 -> 常规 -> 重新启动（在服务器管理下））。重新启动时，您应该看到以下内容：

 

图 2. 通过 Panel iframe 在 HA 前端查看的 Cloud9 IDE 插件。

 

TensorFlow 设置

确保您正在运行 Home-Assistant 的最新版本。我建议您阅读TensorFlow 组件文档以了解设置过程，但在本指南中，我们跳过了几个步骤，因为我在 GitHub 上提供了所需的代码。

第 1 步：安装 TensorFlow。我们需要 TensorFlow 可用于 Home-Assistant。从 Cloud9 IDE 中的命令行：

• sudo apt-get install libatlas-base-dev libopenjp2-7 libtiff5
• 从 Pi 切换到 homeassistant 用户 ->sudo -u homeassistant -H -s
• 激活homeassistant python环境->cd /srv/homeassistant/然后source bin/activate
• 从 pypi -> 安装 tensorflow pip3 install tensorflow==1.13.2（检查当前版本要求）

第 2 步：从我的 GitHub 获取 TensorFlow 需要的文件。在任何计算机上，导航到：https ://github.com/robmarkcole/tensorflow_files_for_home_assistant_component并下载 ZIP 文件或克隆存储库。使用 Cloud9 IDE 将tensorflow/object_detection存储库中的文件夹复制到 Home-Assistant 的配置文件夹中。生成的文件夹结构如图 2 所示。

第 3 步：为目标检测选择合适的模型。我给这个步骤一个单独的部分。

型号选择

TensorFlow“模型”是具有扩展名的二进制文件，.pb其中包含 TensorFlow 将用于执行对象检测的神经网络的权重。这是您无需担心的细节，但需要的是选择合适的模型并将其放置在配置目录中。正如组件文档所建议的那样，互联网上有一系列可用的模型，或者您甚至可以创建自己的模型。一般来说，模型的准确性和速度之间需要权衡取舍。由于 Raspberry Pi 的 CPU 和 RAM 有限，我们应该选择轻量级的型号，例如为手机设计的型号。TensorFlow 模型动物园提供可下载模型的列表，因此请导航至动物园自述文件并选择模型。在这里，我们将遵循文档建议并选择ssd_mobilenet_v2_coco模型。从命令行，并注意到我们仍在使用homeassistant用户配置文件：

TENSORFLOW_DIR="/home/homeassistant/c9workspace/homeassistant/tensorflow"    
cd $TENSORFLOW_DIR    
curl -OL http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v2_coco_2018_03_29.tar.gz    
tar -xzvf ssd_mobilenet_v2_coco_2018_03_29.tar.gz

请注意，我们设置环境变量TENSORFLOW_DIR以确保将下载的文件放在本文中配置说明所需的位置。现在我们有一个可用的模型文件，我们可以配置 TensorFlow 组件。

TensorFlow 组件配置

您将需要一个相机源来提供图像。我只是设置了一个local_file 相机，但您可以使用任何相机源。请注意您的相机的 entity_id（我的是camera.local_file）并将以下内容添加到您的 configuration.yaml 文件中：

image_processing:    
 - platform: tensorflow    
   scan_interval: 20000    
   source:    
     - entity_id: camera.local_file    
   model:    
     graph: /home/homeassistant/c9workspace/homeassistant/tensorflow/ssd_mobilenet_v2_coco_2018_03_29/frozen_inference_graph.pb

再次检查您的配置更改是否有效并重新启动 Home-Assistant。

TensorFlow 组件使用

现在是有趣的部分，使用 TensorFlow 组件！请注意，在重新启动时 Home-Assistant 将在其日志中发出有关未安装 OpenCV 的警告，您可以忽略此，因为 TensorFlow 可以改用 Pillow。另请注意，我们进行了配置scan_interval: 20000，这意味着 TensorFlow 图像处理不会自动执行（默认每 10 秒一次），而是仅在我们通过调用scan服务触发它时执行，您可以从 Home-Assistant 前端的服务开发人员工具中执行此操作. 下图向您展示了 TensorFlow 组件如何显示其结果：

 

查看 TensorFlow 检测数据。模型正确识别了这只狗。

 

您现在可以在 Home-Assistant自动化中使用对象检测数据。Home-Assistant论坛是获取自动化想法的好地方，请查看。

概括

在本文中，我们介绍了设置 Home-Assistant 以使用 TensorFlow 执行对象检测的过程，然后在相机图像上执行对象检测。希望这将使您能够以最小的麻烦将尖端的 AI 技术投入到您的家庭自动化项目中的生产中。

故障排除

• 当我使用 Tensorflow 时，Home-Assistant 崩溃了，为什么？您可能没有足够的可用内存，因为模型需要约 1 GB 的 RAM。终止 pi 上的一些进程，然后重试

使用码头工人？

社区成员创建了轮子以在此处的 Alpine linux docker 容器中安装 tensorflow