如何在 Raspberry Pi AI Camera 上构建为开发人员提供实时的智能应用程序！

 

在这篇特邀文章中，我们的合作伙伴索尼公司的雷蒙娜-雷纳（Ramona Rayner）将向您展示如何快速探索不同的模型和人工智能功能，以及如何在 Raspberry Pi 人工智能相机的基础上轻松构建应用程序。
最近推出的 Raspberry Pi AI Camera 是一款功能强大的硬件，可让您在 Raspberry Pi 上构建功能强大的 AI 应用程序。通过将人工智能推理卸载到 IMX500 加速器芯片上，可以利用更多的计算资源来处理边缘应用逻辑！我们很想知道您将创造出什么，也很想为您提供更多的工具。这篇文章将介绍如何快速探索不同的模型和人工智能功能，以及如何在 Raspberry Pi AI Camera 的基础上轻松构建应用程序。如果您没有机会阅读入门指南，请务必先查看该指南，以确认您的 AI 相机设置正确。

探索训练前的模型

开始探索 Raspberry Pi 人工智能相机可能性的一个好方法是试用 IMX500 Model Zoo 中的一些预训练模型。为了简化探索过程，可以考虑使用图形用户界面工具（GUI Tool），该工具旨在快速上传不同的模型，并查看 AI 摄像机上的实时推理结果。IMX500 Model Zoo : https://github.com/raspberrypi/imx500-modelsGUI Tool : https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-app-gui-tool要启动图形用户界面工具，请确保已安装 Node.js。(通过在终端运行 node --version 验证 Node.js 是否已安装），并在软件源的根目录下运行以下命令来构建和运行该工具：https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-app-gui-tool

•  

make build

•  

./dist/run.sh

图形用户界面工具可通过 http://127.0.0.1:3001 访问。查看模型操作
 

点击界面右上角的 ADD（添加）按钮添加自定义模型。

提供添加自定义网络所需的详细信息，并上传 network.rpk 文件和（可选）labels.txt 文件。

• 选择模型并导航至 “相机预览 ”以查看模型的运行情况！

以下是 IMX500 Model Zoo 中的几款机型：
 

 

探索不同的型号可以让您深入了解摄像机的功能，并确定最适合您要求的型号。当您认为已经找到合适的型号时，就可以构建应用程序了。

 

建立应用当模型推理在 IMX500 上进行时，Raspberry Pi 上有足够的 CPU 来运行应用程序。为了演示这一点，我们将运行一个锻炼监测示例应用程序。锻炼监测示例应用程序: https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-apps/tree/main/examples/workout-monitor其目的是通过检测和跟踪进行引体向上、俯卧撑、腹肌锻炼和深蹲等常见锻炼的人，实时计算锻炼次数。该应用程序将计算框架中每个人的重复次数，确保多人可以同时锻炼和竞争，同时获得自动重复次数计算。要运行该示例，请克隆示例应用程序资源库，并确保从 Raspberry Pi IMX500 Model Zoo 下载 HigherHRNet 模型。

 

•  

sudo apt install python3-opencv

并从存储库的根目录运行：

•  
•  
•  
•  

python3 -m venv venv --system-site-packagessource venv/bin/activatecd examples/workout-monitor/pip install -e .

在练习之间切换非常简单，只需提供相应的练习参数，如引体向上、俯卧撑、腹肌锻炼或深蹲。

•  
•  
•  

workout-monitor --model /path/to/imx500_network_higherhrnet_coco.rpk --exercise pullup

模型后处理，将模型输出张量解释为边界框和骨架关键点

跟踪器模块（ByteTrack）用于给检测到的人一个唯一的 ID，以便计算每个人的运动次数

匹配器模块，通过匹配各帧中的人物来提高追踪结果的准确性，从而避免丢失他们的 ID

CV2 可视化功能，可将检测结果可视化，并查看应用程序的结果

所有这些都是在边缘实时完成的，而 IMX500 则负责人工智能推理！

 

现在，你和人工智能摄像机都在测试对方的极限。你能做多少个引体向上？