RDK X3 带飞的智能护理系统：让机器人秒变贴心小棉袄

想象有个超智能的 “贴心小管家”，专为老年人和需要监护的人群服务，这就是超酷的 “声动护理” 智慧护理系统！

它基于 RDK X3 开发，像个聪明的小脑袋，用物联网技术把所有功能串起来。通过神奇的 Avahi 技术，能让本地设备和机器人 “勾肩搭背”，一起干活；ros1 bridge 技术则像翻译官，让不同版本的 ROS 系统顺利交流，实现语音控制机器人动起来。还用腾讯云搭了个 “云端小基地”，Vue3 设计的前端页面，让本地和云端随时 “唠嗑”，为以后更多指令控制打好基础。

这个系统技能点满格！急救报警、跌倒报警、智能呼叫、自动取药取餐、实时监控、手动控制机器人…… 样样精通。——济往开来团队

一、特色与创新

相比市面上的智慧医疗和家居产品，我们的 “声动护理” 智慧护理系统有这些超亮眼的特色创新：

精准服务特殊群体：专为老年人设计，用物联网技术打造超方便的交互方式。不用复杂操作，挥挥手做个 “V 字手势” 就能召唤取药、点餐服务，对帕金森等行动不便的老人超友好，让服务又贴心又好上手。

智能警报快人一步：老人不小心跌倒，系统秒变 “安全卫士”！立刻拉响警报，云平台同步弹出警示，通知家属和附近邻居。不用怕老人说不清状况，及时救援有保障。

全能服务一站配齐：不止能实时监控、语音聊天，还把智能报警、手势控制、环境监测全打包！语音指令一说，系统立刻回应，还能陪空巢老人唠嗑。摄像头画面、环境数据全上传云端，家属打开网页就能随时 “云守护”。紧急时刻云端直接报警，远程遥控机器人也不在话下，真正实现万物互联！

二、功能设计

2.1 设计环境

作品主要基于 RDK X3 处理器、开发板及语音转换模块进行设计。RDK X3 开发板是一款高性能人工智能计算开发板，搭载高性能 AI 处理器，采用先进的异构计算架构，能在低功耗下高效完成 AI 推理任务。


开发板配备丰富外设与通信接口，方便连接外部设备和云服务；支持 TensorFlow、PyTorch 等多种开发框架，便于快速部署 AI 模型。


软件环境方面：
 

1. Node.js：基于 Chrome V8 引擎，采用事件驱动、非阻塞 I/O 模型，适合搭建高并发网络应用，支持 WebSocket 协议实现实时双向通信。
2. Vue3：渐进式 JavaScript 前端框架，通过虚拟 DOM、组件化等技术，高效构建交互式界面，组件可复用，代码易维护。

2.2 设计内容

我们利用 RDK X3 开发平台及模块，设计方案、编写程序和网页，打造出专为老年人的智慧监控系统。系统基于物联网技术，用 Node.js 搭建服务器，Vue3 设计前端，核心功能如下：
 

1. 急救报警：老人跌倒时，摄像头通过人体姿态检测自动报警，向家属和医护人员发送求助信号，提升紧急情况下的安全性。
2. 手势求助：系统识别摄像头捕捉的指定手势，老人挥挥手就能 “呼叫取药、点餐或医生”，系统语音回应，操作超方便。
3. 语音交互：老人问 “今天天气如何” 等问题，系统实时识别并语音回复，像个贴心小助手。
4. 实时监控：网页实时显示摄像头画面，医护人员和家属能远程查看病房，接收报警信号。老人还能用手势、姿态发送请求，实现远程智能管控 。

这套系统整合物联网、前端设计和服务器技术，既提升生活品质 —— 实时监测老人健康，让家属随时掌握情况；也优化医疗场景 —— 自动传输患者数据，减轻医护负担，让服务更高效精准。

三、系统实现

3.1 设计方案

我们基于RDK X3开发平台，融合物联网技术，打造出专为老年人服务的智能监控系统，实现自动取药、取餐、紧急呼叫、跌倒报警等功能。


1. MIPI摄像头模块

采用OV5647摄像头，500万像素，支持1080p高清拍摄，自带自动曝光、白平衡调节，通过I2C接口传输数据。
 

• 手势识别：用深度学习模型（hand_gesture_detection-develop），分四步工作：摄像头抓拍→图像预处理→CNN提取手势特征→模型识别“V字（取药）、手掌（取餐）、OK（呼叫医生）”手势，最后网页和语音同步反馈。
• 跌倒检测：基于hobot_falldown_detection模型，摄像头拍视频→预处理→CNN定位人体→分析姿态判断是否跌倒，一旦确认，网页弹窗、语音报警。

2. 音频转接板模块

使用微雪电子Audio Driver HAT REV2转接板，支持4麦克风录音、双声道播放。

• 语音识别：HBAudioCapture类负责采集音频→智能算法识别→发布语音消息，涵盖初始化、数据捕获、处理全流程。
• 语音合成：HobotTTSNode类接收文本指令→转换为PCM音频→驱动设备播放，订阅“/tts_text”话题即可触发。

 

 

3. 设备通信模块
 

• 上下位机：树莓派（上位机）通过USB串口给小车STM32控制器发指令，控制运动。
• 机器人与本地端：树莓派+小车组成机器人，与RDK X3用avahi服务共享ROS节点，实现远程控制。
• 本地端通信：RDK X3用ros1_bridge连接ROS1和ROS2，让语音指令能操控机器人。
• 云端交互：本地端与腾讯云服务器用WebSocket双向通信，实时上传温湿度、手势数据，云端渲染网页。

4. 网页展示模块
 

在腾讯云搭建网页（http://101.32.194.5:8080/），核心功能：
 

• 中间显示摄像头实时画面，用transfer.py程序转发图像数据；
• 右侧记录语音对话日志；
• 下方分区展示温湿度、手势指令、跌倒报警，数据由RDK X3实时传输。

5. 温湿度传感器模块
DHT11传感器集成温湿度检测，单总线协议传输40位数据，Hobot.GPIO库解析后校验、保存，再通过WebSocket发往云端。


6. 语音交互模块
AudioSmartToTTS节点订阅“/audio_smart”接收语音数据→提取命令词→WebSocket问服务器要回复→发布“/tts_text”实现语音输出，搭配音频转接板提升识别和播放效果。

7. 机器人控制模块

• 语音控制：麦克风收音→语音算法处理→发布“/audio_smart”消息→hobot_audio_node.py转发指令→controller.py控制小车移动。
• App控制：手机App用平移、旋转、缩放手势操作视图，通过ROS和avahi技术自动连接设备，语音或触屏操控机器人。

8. 手势与跌倒功能强化
 

• 手势识别：检测到特定手势后，音频播报确认、网页显示详情、机器人执行任务，代码分初始化、数据处理、状态重置三步。
• 跌倒检测：检测到跌倒时，语音报警、网页弹窗，设5秒定时器防误报，状态消失后自动重置。

3.2 设计展望

未来计划升级系统：
 

1. 健康监测：增加心率、血压传感器，实时预警健康风险；
2. 智能咨询：语音对话获取医疗建议，加强医患沟通；
3. 远程医疗：视频连线实现远程问诊；
4. 环境智控：自动调节灯光、温度；
5. 人体跟踪：搭载跟踪小车，消除监控盲区。通过这些优化，让系统更智能、更贴心。

四、开源