基于OpenHarmony的智能音响

基于OpenHarmony的智能音响

本项目由闽江学院李维权、李清湖、朱燕礼同学完成，作品获得福建省首届OpenHarmony开发者大赛三等奖！

1、项目背景  

进入 21 世纪以来，传感器技术、计算机控制技术、网络技术以及新兴的物联网技术，蓬勃发展。音箱是现代家居生活中为人们提供听觉享受的产品，其作为音响系统的最终端，承担着将电波信号转化为声能量，并传播到空气中的作用。音箱的种类有很多，针对不同的使用场景、用户群，有不同的表现形式。以人为本的现代设计理念推动着设计的发展，在产品设计领域，以人为本不仅体现在产品的形式上，产品的服务形式也应该是契合人的本性、对用户友好的。这一述求随着科技的发展，逐渐与人们的预期相符合。所谓的“智能”，指的是个体认识客观物体和运用知识解决问题的能力。机器不同于人类能够独立思考，它的行为模式是依附于程序而进行的，当一个机器能够在某个程序的指导下，独立进行操作或运算，我们便称之为智能设备。智能音箱就是在传统音箱的基础上结合通信技术、传感技术或其他互联网技术，使之在扩音的基础功能之上，拥有更多新的、符合现代生活场景的功能, 随着科学技术的不断进步，人们所追求东西也越来越多。

智能音箱系统是以智能音箱设备为核心，结合手机端、语音识别系统和手势识别系统协同工作，可提供中继WiFi的同时满足家庭用户的日常音频服务需求，个性化地为用户提供了语音识别功能，本次设计的是以家居场景下的智能音箱产品，首先对其硬件平台进行设计，其次对音频系统和功能软件部分进行详细设计，然后对智能音箱系统的语音识别系统和设计与优化并初步实现语音识别功能，从而打造一款经济、实用、智能的便携式音箱系统。

2、项目简介  

2.1 项目描述

此项目基于 OpenHarmony 操作系统——我国自主研究、国产可控的芯片RK2206 搭载的一个全新的，独立的首个完全开源的操作系统。该项目也是 OpenHarmony 在智能音箱领域适配的一个尝试，通过蓝牙连接、语音识别、手势识别三种方式控制设备，小凌派内置WiFi连接网络显示实时时钟和当地天气。实现了人机交互化、系统化、实时化。

2.2 功能说明

在系统整体设计架构中，利用小凌派内置WiFi模块连接网络，在搭载OpenHarmony操作系统的小凌派LCD显示屏上显示实时时间和当地实时天气情况。

在人工智能音箱交互的过程中，主要是使用耳和嘴两个信息通道，即听和说，语音识别的过程要经过三个阶段:发音、传递和感知，分别对应于生理、物理和心理三个方面，也就是说，仅仅是识别理解语音还不够，还需要根据所处的语境，以即时、正确、合乎常规的自然语言表达方式回复用户。此项目支持蓝牙和WiFi进行音乐播放，在此基础上，我们的设计加入了手势识别， 利用不同手势改变音乐播放状态。

2.3 系统功能模块划分

项目是基于我国自主创新研发的国产可控芯片RK2206搭载OpenHarmony操作系统上运行的，OpenHarmony作为新推出的热点，它在传统的单设备系统能力的基础上，创造性地提出了一套系统能力适配终端形态的理念，并且支持在终端设备上运行。小凌派内置WiFi模块连接网络，在搭载OpenHarmony操作系统的小凌派LCD显示屏上显示实时时间和当地实时天气情况。本系统中，由语音识别和手势识别实现人机交互，当语音识别模块听到唤醒词（小智小智）后回应，再说上一首/下一首进行切歌，或者播放/暂停，小凌派屏幕上会显示相应的音乐播放状态图标和提示语。

2.4 项目展示

         
 

         

图2.1 智能音箱设计实物正面图

 

图2.2 智能音箱设计实物侧面图

         
 

图2.3 智能音箱设计实际操作图

3、硬件设计  

3.1 硬件总体框架

 

图3.1 硬件总体框图

         
 

3.2 主控芯片

 

图3.2 小凌派

采用小凌派RK2206 OpenHarmony开发板，主控为瑞芯微RK2206芯片，200MHz主频，RAM 256KB、ROM16KB、PSRAM 8M、FLASH 8M。板载NFC Tag芯片及天线，可实现OpenHarmony“碰一碰”功能。支持 IEEE 802.11b/g/n 制式，AP 模式。USB 2.0 、SDcard /SPI/I2C 接口、麦克风接口、E53 接口（包含 UART、 I2C、ADC、DAC、PWM、5 个 GPIO）。一根TypeC USB线，即可实现供电、下载等功能。一根TypeC USB线，可支持串口调试功能。

3.3 语音识别模块

     语音识别模块采用LD3320，支持3.3V/5V供电，通信协议采用串口通信。

 

图3.3 语音识别模块

3.4 语音播报模块

语音播报模块采用SNY6288，支持3.3V供电，通信协议采用串口通信。

 

图3.4 SNY6288

3.5 功率放大模块

TPA3116D2双声道立体声大功率数字低音炮功放板 ，支持2x50W功率。

 

图3.5 功率放大模块

3.6 手势识别模块

小凌派鸿蒙开发板智能手势扩展板E53模块PAJ7620U2手势识别传感器。

 

图3.6 手势识别模块

3.7 音频蓝牙模块

使用蓝牙3.0模块，SPP透传。

 

图3.7 蓝牙模块

3.8 TFT显示屏

1.8寸彩色TFT显示屏，高清IPS LCD液晶屏模块，分辨率128*160，SPI接口。

 

图3.8 TFT液晶屏

4、软件方案  

智能音箱设计软件部分使用的是C语言，整体代码整合屏幕化显示代码、WiFi连接代码、语言识别代码、手势识别代码等部分。

设计采用的小凌派芯片RK2206开发板采用Lite os-M 内核、自带WiFi模块，SDK也提供了相应的驱动，初始化配置WiFi，连接到目标网络,通过内部串口将WiFi的ID密码、时间和天气API网站IP与链接地址传入内置WiFi模块。WiFi联网成功后利用TCP协议向网站发送get信息，网站收到get请求后回传带有时间和天气信息的json格式报文，报文送进小凌派芯片RK2206经由CJSON库处理为标准格式后，最终显示在LCD屏幕上。

而通过I2C通信协议，传感器感受手势，主控板读取PAJ7620U2的手势寄存器中的手势，相应对应的接口层，引脚输出对应高低电平完成歌曲切换、暂停等操作。

 

图4.1  程序总框图

图4.2 主流程图

         
 

4.1 WiFi连接设计

智能音箱获取连接WiFi部分代码：

图4.3 WiFi模块流程图

4.2时间天气信息获取设计

智能音箱通过协议发送数据给sercer，再接受来自server的信息，从而获取时间以及天气状况信息。

时间信息获取设计部分代码:

天气状况信息获取设计部分代码：

4.3手势识别设计

智能音箱手势识别分别设置4种手势进行操作，并根据不同手势执行不同的操作。

图4.4 手势识别程序流程图

5、项目总结和展望  

本次设计从互联网技术出发，以人工智能音箱为落脚点，设计一款紧跟都市生活节奏和技术环境的产品。该设计在一定程度上可以帮助用户解放双手，便利用户生活，既不用手持智能设备也能对智能音箱进行操作，有助于用户提高生活质量，享受数字时代带来的红利。能够为人们提供实时的天气情况，显示当地时间与日期，方便用户日常生活；支持语音交互功能，相比人们常用的智能手机，智能音箱只需“动嘴”，自然更加方便。基于互联网技术，从用户、人机交互及人机环境三个方面展开分析，以智能音箱为代表的人机交互模式为我们展现了智媒发展的一个新的方向：从人与人的交流到人与物、再到物与物，最终实现真正的万物互联。如何更好利用智能媒体的优势，同时规制与引导智能媒体的发展，正是有关智能音箱、人工智能技术研究背后传播问题演进与开拓的新的场域所在。