×

使用Home Assistant进行TensorFlow对象检测

消耗积分:0 | 格式:zip | 大小:0.19 MB | 2022-12-14

张超

分享资料个

描述

介绍

警告:目前 Home Assistant 中的 Tensorflow 集成存在问题,这是由于在多个平台上支持 Tensorflow 的复杂性而出现的。除非您对调试安装问题非常有信心,否则我不建议您尝试遵循本指南。另请注意,Hassbian 不再由 Home Assistant 维护。

TensorFlow是一种流行的开源机器学习框架,可用于图像处理中的广泛应用,特别是用于对象检测。家庭自动化项目中有许多对象检测应用,例如在摄像头输入中定位车辆或宠物等对象,然后根据这些对象的存在执行操作(使用自动化)。Home-Assistant是一个流行的开源 Python 3 家庭自动化平台,可以在 Raspberry Pi 上运行。TensorFlow 对象检测在一些设置后可在 Home-Assistant 中使用,允许人们在他们的家庭自动化项目中开始使用对象检测,而无需大惊小怪。Home-Assistant 文档提供了开始使用 TensorFlow的说明对象检测,但所描述的过程比典型的家庭助手组件要复杂一些。如文档所述,此组件需要下载文件,在您的计算机上编译,并添加到 Home Assistant 配置目录我在 GitHub 上托管了一些代码来简化设置过程,本指南将介绍熟悉的 Raspberry Pi 硬件上的简化设置过程。

家庭助理设置

我在 Raspberry Pi 4 上使用 Home-Assistant 0.98 版的 Hassbian 部署,但请注意,其他 Home-Assistant 部署的步骤应该相同(警告,Hassio 还不允许安装 TensorFlow,所以不要尝试它)。关于硬件的说明,TensorFlow 模型需要大约 1 GB 的 RAM,因此虽然可以在 RPI3 上运行,但体验太差了,我什至不建议尝试。作为最低要求,我推荐具有 > 2GB RAM 的 RPI4。

有关设置的更多信息,请参阅Hassbian 文档,但基本过程是:

  • 将 Hassbian 磁盘映像闪存到 SD 卡(我使用Etcher
  • 将您的 Wifi 凭据添加到 SD 卡上的文本文件中
  • 将 SD 卡插入您的 Pi
  • 插入键盘并显示到 Pi 以监控安装过程

您可以通过连接到 Pi 的键盘来完成整个 TensorFlow 设置,但我建议通过 Hassbian 脚本安装Cloud9 Web IDE。此 IDE 允许您从网络上的任何计算机通过 Home-Assistant 前端执行 TensorFlow 设置过程。按照此处的说明安装 Cloud9 ,然后导航到http://hassbian.local:8181您现在可以使用面板 iframe在 Home-Assistant GUI 上显示 Cloud9 IDE ,通过添加到 Home-Assistant configuration.yaml文件进行配置(通过 Cloud9 IDE 编辑):

panel_iframe:    
cloud9:    
  title: cloud9    
  icon: mdi:wrench    
  url: http://hassbian.local:8181/ide.html

编辑文件后,最好使用配置验证工具。要使用它,从侧面板,配置 -> 常规 -> 检查配置(在配置验证下))。

 
poYBAGOYOAGAUNnJAAHfQb7anBQ391.png
图 1. 显示 OK 配置的配置验证工具。
 

如果您从配置检查工具中获得确定,则需要重新启动 Home-Assistant 以使更改生效(从侧面板配置 -> 常规 -> 重新启动(在服务器管理下))。重新启动时,您应该看到以下内容:

 
poYBAGOYOBOAWqJKAAQ4RJnhB68818.png
图 2. 通过 Panel iframe 在 HA 前端查看的 Cloud9 IDE 插件。
 

TensorFlow 设置

确保您正在运行 Home-Assistant 的最新版本。我建议您阅读TensorFlow 组件文档以了解设置过程,但在本指南中,我们跳过了几个步骤,因为我在 GitHub 上提供了所需的代码。

第 1 步:安装 TensorFlow。我们需要 TensorFlow 可用于 Home-Assistant。从 Cloud9 IDE 中的命令行:

  • sudo apt-get install libatlas-base-dev libopenjp2-7 libtiff5
  • 从 Pi 切换到 homeassistant 用户 ->sudo -u homeassistant -H -s
  • 激活homeassistant python环境->cd /srv/homeassistant/然后source bin/activate
  • 从 pypi -> 安装 tensorflow pip3 install tensorflow==1.13.2(检查当前版本要求)

第 2 步:从我的 GitHub 获取 TensorFlow 需要的文件。在任何计算机上,导航到:https ://github.com/robmarkcole/tensorflow_files_for_home_assistant_component并下载 ZIP 文件或克隆存储库。使用 Cloud9 IDE 将tensorflow/object_detection存储库中的文件夹复制到 Home-Assistant 的配置文件夹中。生成的文件夹结构如图 2 所示。

第 3 步:为目标检测选择合适的模型。我给这个步骤一个单独的部分。

型号选择

TensorFlow“模型”是具有扩展名的二进制文件,.pb其中包含 TensorFlow 将用于执行对象检测的神经网络的权重。这是您无需担心的细节,但需要的是选择合适的模型并将其放置在配置目录中。正如组件文档所建议的那样,互联网上有一系列可用的模型,或者您甚至可以创建自己的模型。一般来说,模型的准确性和速度之间需要权衡取舍。由于 Raspberry Pi 的 CPU 和 RAM 有限,我们应该选择轻量级的型号,例如为手机设计的型号。TensorFlow 模型动物园提供可下载模型的列表,因此请导航至动物园自述文件并选择模型。在这里,我们将遵循文档建议并选择ssd_mobilenet_v2_coco模型。从命令行,并注意到我们仍在使用homeassistant用户配置文件:

TENSORFLOW_DIR="/home/homeassistant/c9workspace/homeassistant/tensorflow"    
cd $TENSORFLOW_DIR    
curl -OL http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v2_coco_2018_03_29.tar.gz    
tar -xzvf ssd_mobilenet_v2_coco_2018_03_29.tar.gz

请注意,我们设置环境变量TENSORFLOW_DIR以确保将下载的文件放在本文中配置说明所需的位置。现在我们有一个可用的模型文件,我们可以配置 TensorFlow 组件。

TensorFlow 组件配置

您将需要一个相机源来提供图像。我只是设置了一个local_file 相机,但您可以使用任何相机源。请注意您的相机的 entity_id(我的是camera.local_file)并将以下内容添加到您的 configuration.yaml 文件中:

image_processing:    
 - platform: tensorflow    
   scan_interval: 20000    
   source:    
     - entity_id: camera.local_file    
   model:    
     graph: /home/homeassistant/c9workspace/homeassistant/tensorflow/ssd_mobilenet_v2_coco_2018_03_29/frozen_inference_graph.pb

再次检查您的配置更改是否有效并重新启动 Home-Assistant。

TensorFlow 组件使用

现在是有趣的部分,使用 TensorFlow 组件!请注意,在重新启动时 Home-Assistant 将在其日志中发出有关未安装 OpenCV 的警告,您可以忽略此,因为 TensorFlow 可以改用 Pillow。另请注意,我们进行了配置scan_interval: 20000,这意味着 TensorFlow 图像处理不会自动执行(默认每 10 秒一次),而是仅在我们通过调用scan服务触发它时执行,您可以从 Home-Assistant 前端的服务开发人员工具中执行此操作. 下图向您展示了 TensorFlow 组件如何显示其结果:

执行扫描后

 
 
pYYBAGOYOCCAAI25AAG_x_xKpZ4028.png
查看 TensorFlow 检测数据。模型正确识别了这只狗。
 

您现在可以在 Home-Assistant自动化中使用对象检测数据Home-Assistant论坛是获取自动化想法的好地方,请查看。

概括

在本文中,我们介绍了设置 Home-Assistant 以使用 TensorFlow 执行对象检测的过程,然后在相机图像上执行对象检测。希望这将使您能够以最小的麻烦将尖端的 AI 技术投入到您的家庭自动化项目中的生产中。

故障排除

  • 当我使用 Tensorflow 时,Home-Assistant 崩溃了,为什么?您可能没有足够的可用内存,因为模型需要约 1 GB 的 RAM。终止 pi 上的一些进程,然后重试

使用码头工人?

社区成员创建了轮子以在此处的 Alpine linux docker 容器中安装 tensorflow


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !