智行者——视听障碍者出行辅助AI小车设计

 

 

据统计，我国视障人数达1731万人，听力残疾患者2780万人。视听障碍者对出行和交流需求迫切，但现有设施和辅具局限性大，使他们面临出行难题。因此，我们开发了一款安全、精准、语音与手部交互的导航避障设备，配备AI导航小车和家属端App，旨在满足视听障碍者的实时定位和信息交流需求。

 

设备包含导航避障、语音交互和触摸交互模块，支持定位、路径规划和实时避障功能。语音交互模块可通过语音指示小车到达目的地，也可提供天气查询和笑话讲解。触摸交互模块则帮助视听障碍者进行盲文信息交流。应用App与触摸模块配合使用，显示实时位置，提升出行安全性，促进与家人的信息互动。

 

经过盲人行走测试，使用本产品较普通盲杖可缩短行走时间约40%；轨迹路径测试显示，本产品行走路径更合理，更符合日常行人行走习惯，凸显了其导航避障的优势。

 

产品设计

设计原理

 

设计中使用ROS与Python，结合激光雷达、超声波测距模块和万向轮等硬件，并利用物联网技术，旨在开发一款适用于视听障碍者的出行辅助系统。该系统解决了他们出行中的困难与不便，通过降低出行难度与成本，体现了对他们的关怀，使其能够享受科技发展带来的便利。

 

1、语音交互模块：针对仅存在视觉障碍的用户，利用高度的听觉灵敏性，该模块具备语音识别和导航功能，使用户能够通过语音与AI导航小车进行交流和导航。

 

2、触摸交互模块：考虑到同时存在视听障碍的用户，设计了触摸交互模块和配套的应用App。通过触摸交互模块，用户可以进行盲文信息交互，并利用震动功能实现基本的信息传递，同时与家人保持沟通。

 

视听智障者出行辅助AI小车系统架构

 

视听障碍者出行辅助AI小车设计图

 

视听障碍者出行辅助AI小车实物图

 

系统架构

 

本产品由AI导航小车及应用App组成，具有导航避障和信息交互两大功能，信息交互功能包括语音交互、触摸交互、实时位置三大部分。AI导航小车具有导航避障、语音交互、触摸交互三大模块，可以通过激光雷达对道路进行识别并规划行驶路线，并在行驶过程中通过超声波传感器实时探测避障，对行人进行语音提醒，接收来自家属或监护人的消息并通过触摸交互模块将信息传递给使用者，还可通过机智云物联网服务，把小车状态数据回传给应用App。

 

家属或监护人可通过应用App给使用者发送消息，并实时查看使用者的位置信息。本产品在AI导航小车上还设置有SOS按钮，用户按下此按钮，小车会立即进行急停，并在应用App端给家属实时显示位置，达到安全出行的目的。

 

项目配置

 

实现过程

导航避障模块

 

在特定的地图设置终点后，AI导航小车利用激光雷达扫描建图，识别当前位置，并规划到达终点的路径。路径规划好后，开始引导使用者往终点行走。在行走过程中，一方面通过超声波测距，避免撞到障碍物或行人；一方面不断扫描及定位，重新规划路径，最终将使用者安全带到终点。

 

设计原理

 

要想实现导航避障，需要完成定位、路径规划、避障功能。AI导航小车在导航过程中需要时刻确定当前位置，amcl是一种概率定位系统，以2d方式对AI导航小车定位，使用粒子滤波跟踪机器人在已知地图中的位姿。move＿base能通过激光雷达扫描结果获取AI导航小车周围信息，生成全局和局部代价地图，进行全局路径规划和局部路径规划，并且绕过障碍物到达目标点，全局路径规划采用A*算法，局部路径规划采用DWA算法。

 

定位及路径规划功能实现

 

定位及路径规划功能实现使用思岚A2激光雷达，通过其核心测距顺时针旋转，可实现对周围环境的360度全方位扫描测距检测，从而获得周围环境的轮廓图。

 

AI导航小车在陌生的环境下，需要先使用激光雷达进行SLAM建图。SLAM英文名字为simultaneous localization and m Apping，翻译成中文名是同步定位与建图，主要应用于未知环境的探索。

 

AI导航小车首先是对自身进行定位，定位所需传感器通常是电机编码器、IMU、激光雷达。在定位的基础上，激光雷达或者摄像头来对自身定位进行修正，并利用期间获取的环境信息不断更新构建的环境地图。

 

避障功能实现

 

AI导航小车在引导过程中，除了按已规划好的路径行驶，还需避让突然进入的障碍物。主要通过对前方障碍物测距实现，这里使用的是HC-SR04超声波测距模块。

 

测距功能主要由STM32微控制器、超声波模块完成。通过STM32微控制器收到指令后使超声波发射器向某一方向发射超声波，途中碰到障碍物就立即反弹回来。根据计时器记录的时间，计算出发射点到障碍物的距离，再通过向主控制器查询超声波数据实现测距。当AI导航小车检测并计算到障碍物距离过近时，播放语音提醒使用者及行人，同时避开障碍物，重新规划路线，继续引导使用者安全行走。

 

此外，还要设置思岚A2激光雷达的膨胀半径和代价比例因子，确保机器小车在遇到障碍物后适当的距离内进行自动避障。

小车行驶处理路径规划及过程中的避障信号，控制电机转动，达到准确行驶的目的STM32微控制器获取激光雷达，超声波等其他传感器的信号，控制电机。

 

语音交互模块

 

对于仅存在视觉障碍不存在听觉障碍的用户，可通过语音交互模块，与AI导航小车进行对话，比如询问天气、讲笑话，也可语音指定小车到达指定地点。

 

设计原理

 

语音交互是由麦克风采集声音模拟信号，通过语音识别技术解析出语音信息，8代Inter处理器工控机将解析出的语音信息，利用语音合成技术，在经过扬声器输出声音，并执行相应的动作，实现语音交互。

 

语音识别功能实现

 

由麦克风采集声音模拟信号，通过科大讯飞语音识别技术解析出语音信息，识别转换成文字。

 

语音导航功能实现

 

8代Inter处理器工控机解析识别的语音信息，当识别到对应指令时，利用语音合成技术，再经过扬声器输出声音并执行相应动作。导航过程中，8代Inter处理器工控机需要不断和STM32控制器、激光雷达进行实时数据通信，如获取电机编码、超声波等传感器数据。

 

触摸交互模块

 

设计原理

 

触摸交互模块为视听障碍人士获知信息的主要窗口，承担向他们传达提示、通知信息及实现视听障碍者与家属双向对话等功能，主要是由主控制器STM32、舵机模块、ATK-esp8266

WIFI模块和SIM868模块组成。

 

例如，ATK-ESP8266 WIFI模块通过连接WIFI后进入配网模式且连上机智云服务器后，当按下应用App中的按钮“回家”，通过ATK-ESP8266 WIFI模块将指令发送到主控制器STM32。此时，握手处就会传来短促的震动来提示用户有消息传来，并且舵机也会根据接收到的指令转到相应的角度0°，舵机到达指定角度后，用户用手触摸舵机上的盲文数字，即可以知道家人发送的消息提示。同理，当家人按下应用App上的其他按钮后，震动提醒，舵机转动到相应的角度。完整的指令即动作如下：

 

(1）应用App按下按钮“回家”，舵机识别动作1,

 

触摸交互模块实物图舵机转动0°，显示盲文数字1;

 

(2）应用App按下按钮“离家”，舵机识别动作2，舵机转动90°，显示盲文数字2;

(3）应用App按下按钮“公园”，舵机识别动作3，舵机转动90°，显示盲文数字3;

(4）应用App按下按钮“医院”，舵机识别动作4，舵机转动180°，显示盲文数字4;

 

此外，产品设有“SOS”按键。在发生紧急情况时，盲人可以通过按下此按键来实现急停，并迅速向家人发送自己的坐标，通知家人自己位置信息。

 

盲文信息交互功能实现

 

盲文信息交互功能主要为通过主控制器收到的指令后转动舵机，转动到相应的角度以显示对应的盲文数字按钮，以此向视听障碍人士提供消息，由主控制器STM32、舵机模块、ATK-ESP8266 WIFI模块和盲文数字按钮组成。

 

将MG996R舵机的GND引脚和+5V引脚分别与主控制器的GND引脚和+5V相连；信号线（PWM）引脚连接到主控制器的PA6引脚。当主控制器接收到不同的指令信号，舵机转动不同的角度，使盲文数字按钮转到预定的位置供用户触摸。

 

本项目使用了ATK-ESP8266 WIFI模块连接在主控制器上，实现应用App与主控制器之间的实时数据和相关指令的接收和发送。ATK-ESP8266 Wi Fi模块与主控制器的VCC引脚与GND引脚相连；ATK-ESP8266 Wi Fi模块的RXD引脚和TXD引脚分别与主控器STM32中USART3的TXD引脚（PB10）与RXD引脚（PB11）相连。由于本项目中并没有控制ATK-ESP8266 WIFI模块的RST和IO＿0引脚，因此将这两引脚悬空处理。

 

主控制器先对一系列外设和协议进行初始化，ESP8266 WIFI模组进入配网模式。在user Handle（）函数中，连上机智云服务器，应用App会显示设备已连接状态，同时看到采集的定位数据和主控制器D0绿灯闪烁。此外，通过操控应用App按钮，可以发送经过机智云服务器处理过的指令消息，通过ATK-ESP8266 WIFI模块发送至主控制器上，使得主控制器执行相应程序使得功能模块执行相应的动作。

 

震动功能实现

 

震动马达被内置在触摸模块里，做辅助提示作用，受主控制器控制。当小车前进、转弯或者接收到应用App通过ESP8266 Wi Fi模块发送的指令时，震动马达模块都会进行短暂震动，以提示视听障碍者。当小车检测到障碍物而需要停止时，震动马达模块便会一直震动直至视听障碍者停下，以提醒视听障碍者有需要避让的障碍物。

 

急停按钮

 

模拟使用普通盲杖行走路径

 

模拟使用本产品行走路径

 

正常行走路径

 

实时位置定位功能实现

 

实时位置定位功能使用SIM868模块。SIM868模块与主控制器的VCC引脚与GND引脚相连；SIM868模块的RXD引脚与TXD引脚则连接在主控制器中USART2的TXD引脚（PA2）和RXD引脚（PA3）。其他引脚因没有进行控制，因此不做处理，悬空即可。

 

获取实时位置坐标数据的方式是通过主控制器发送AT指令到SIM868模块。

 

主控制器上电后通过串口USART2发送指令“AT+CGNSPWR=1”打开GPS电源；发送指令“AT+CGNSSEQ=”“RMC”定义NMEA解析；发送指令“AT+CGNSINF”获取GPS定位信息；发送指令“AT+CGNSURC=2”间隔2s输出位置坐标数据即每隔2s将位置坐标数据传输至主控制器，最后经由SIM868＿Get＿GPSLocation（）函数对位置坐标数据进一步解析处理，将处理后的数据发送至应用App。

 

应用App

 

应用App是家人获知视听障碍者情况和与其沟通的“窗口”。应用App使用ROS平台制作。在应用App上，可以很方便地获取视听障碍者位置、对话、小车运行状况等信息，还可以在窗口上直接向视听障碍者发送对话信息。

 

应用App通过与机智云后台连接，绑定机智云WiFi模块，从而能够与AI导航小车进行信息传输。

 

当应用App向AI导航小车发送对话信息时，发送对应指令消息到机智云云服务中，云服务将指令消息传到AI导航小车，AI导航小车接收到指令消息，处理后通过触摸模块的数据处理，传递对应的消息。

 

当AI导航小车发送定位信息时，先将信息发送到云服务，云服务再推送到应用App，应用App对定位信息进行显示，让家属或监护人实时了解使用者的位置信息。

 

产品测试效果

 

产品测试一：随机寻找三位行人（第1位为中年女性、第2位为年轻男性、第3位为中年男性），起点和终点相同（起点和终点相差100m）的情况下测试他们模拟使用普通盲杖行走、模拟使用本产品、正常行走这三种情况下行走分别所耗费的时间（模拟视听障碍者：戴上眼罩和耳塞）。

 

如图所示，在相同位移的情况下，普通行人模拟视听障碍者使用本产品与使用普通盲杖相比，1号测试者的行走时间缩短了约45%,2号测试者的行走时间缩短了约39%,3号测试者的行走时间缩短了约36%，说明本产品辅助出行具有较好的引导效果。

 

随机找三位行人在3种不同情况下行走所耗费的时间

 

产品测试二：在相同起始点与终点、相同路段情况下，本小组成员通过Keep软件记录了模拟使用普通盲杖行走、模拟使用本产品、正常行走这三种情况下行走的轨迹路径（模拟视听障碍者：戴上眼罩和耳塞）。

 

如图所示，在相同起始点与终点、相同路段情况下，模拟使用本产品与模拟使用普通盲杖相比，行走时间缩短了29%。更为重要的是，通过keep软件的轨迹记录，可以看出模拟使用本产品与模拟使用普通盲杖相比，使用本产品的行走路径更合理，且更贴近日常生活中普通行人的行走路径，凸显了本产品导航避障的优势。

 

项目创新点

 

1、精准导航避障：利用激光雷达和超声波传感器，本产品能够精准实时规划路线和规避障碍物，确保视听障碍者安全、精准出行。

 

2、信息交互窗口：针对视听障碍者的听觉和触觉灵敏性，设计了语音交互模块和触摸交互模块。语音交互模块具备语音识别和导航功能，支持用户与设备的语音交流；触摸交互模块则实现了盲文信息交互。此外，配备应用App，包含SOS按钮和实时定位功能，使用户能够与家人进行基本的信息传递，满足日常人际沟通需求。