基于RT-Thread和N32G457的家庭语音助手方案

出处：RT-Thread

作者：王胖胖

应用方案说明及使用场景描述：
本方案通过N32G457+RT-Thread，实现一个家庭语音助手，提供语音唤醒、多路开关、倒计时、闹钟提醒、天气提醒、新闻播报、音乐播放等功能，为家庭生活增添便利和趣味性。
具体实现功能如下：
1.一键配网(未实现)
2.特定唤醒词唤醒
3.语音控制多路开关
4.语音设置倒计时
5.语音设置闹钟(未实现)
6.语音播报天气提醒
7.语音播报新闻
8.语音控制音乐播放
硬件平台
N32G45XVL-STB开发板
软件平台
RT-Thread 4.0.4
RT-Thread Studio
功能模块
ADC
Timer
msh
Serial
pyaudio
pyserial
百度实时语音识别realtime-asr
百度语音合成tts
全家福
 

初步方案

 

语音识别是本项目的核心，一般有语音识别模块、在线语音识别、离线语音识别等三种方案。一开始觉得语音识别模块、在线语音识别没有技术含量，离线语音识别才能最大限度的发挥开发板的性能。于是春节期间查阅了不少离线语音识别的资料，最终确定了MFCC+DTW的离线语音识别方案。节后事情比较多，中断了很长时间。等再拾起来的时候，发现没有想象中那么简单，像FFT/DCT等DSP运算不是新手能轻易搞定的。距离截稿时间已经没几天了，无奈只能选择降级方案。
降级方案
降级后的方案是使用ADC采样音频信号，交由上位机（或ESP8266）进行在线语音识别。ADC进行了配置之后，给VREF接上3.3V，测试正常。可问题还是出现了，首先是自制的音频放大电路的放大能力不足，远达不到3.3v的上限，导致采样精度不足；其次是音频采样需要8k的采样速率，也就是125us采样一次，而系统定时器最小周期默认是10ms，就算配置成1ms也是不能满足需求的。文档里的高精度定时器还需要进一步研究，无奈只能再次降级。

再次降级

复制

 

def process_instruct(instruct):
    """
    处理语音指令
    """
    instruct = str(instruct).replace("。", "").replace("？", "")
    cmd = ""
    voice = ""
    match instruct:
        case "小白小白":
            cmd = "mini_rgb up"
            voices = "在呢|嗯|爷爷在此".split("|")
            random.shuffle(voices)
            voice = voices[0]
        case "打开红灯":
            cmd = "light_control red on"
            voice = "红灯已打开"
        case "关闭红灯":
            cmd = "light_control red off"
            voice = "红灯已关闭"
        case "打开绿灯":
            cmd = "light_control green on"
            voice = "绿灯已打开"
        case "关闭绿灯":
            cmd = "light_control green off"
            voice = "绿灯已关闭"
        case "打开蓝灯":
            cmd = "light_control blue on"
            voice = "蓝灯已打开"
        case "关闭蓝灯":
            cmd = "light_control blue off"
            voice = "蓝灯已关闭"
        case "天气":
            cmd = "mini_rgb up"
            voice = "有你的每一天都是晴天"
        case "几点了":
            cmd = "mini_rgb up"
            now = time.strftime("%Y年%m月%d日%H点%M分%S秒", time.localtime()) 
            voice = "现在是" + now
        case "早上好":
            cmd = "mini_rgb up"
            voice = "morning"
        case "我想听歌":
            cmd = "mini_rgb up"
            voice = "一闪一闪亮晶晶，满天都是小星星"
        case "倒计时五秒钟":
            cmd = "count_down 5"
            voice = "已为您设置好倒计时"
        case "新闻":
            cmd = "mini_rgb up"
            voice = "【一眼新闻丨3月16日贝果财经早间资讯】中国塞尔维亚驾*互认正式生效；106班上海入境国际航班将更改入境点；邓伦偷逃税被处罚并追缴1.06亿元；最高法明确电商不得以拆封为由拒绝退货；茅台回应潘长江直播事件；白俄罗斯和俄罗斯将在能源交易中放弃使用美元；英国将取消所有新冠疫情旅行限制措施；韩国开发全球首个可拉伸无失真元显示技术；美国航天局证实：美航天员将乘俄飞船返回......"
        case "再见":
            cmd = "mini_rgb down"
            voice = "再见"
        case _:
            cmd = "mini_rgb down"
            voices = "不知道你说了什么|不懂".split("|")
            random.shuffle(voices)
            voice = voices[0]
    if cmd != "":
        logger.info('cmd:'+cmd)
        cmd = cmd + "\n"
        cmd = cmd.encode("ascii")
        n32_serial.write(cmd)
    if voice != "":
        tts_file = tts(voice)
        if tts_file != "":
            play_audio(tts_file)

 

再次降级后，使用上位机通过pyaudio进行音频录制，语音片段通过websocket上传至百度实时语音接口进行语音识别，返回的结果转换为指令通过pyserial写入开发板，触发对应动作，同时通过百度语音合成tts生成对应语音回复，通过pyaudio播放。基本实现了前期预定目标。
总结
由于是第一个硬件项目，经验有限加上知识储备不足，一开始的想法并没有完全实现出来，只能一再降级，好在也不辱使命，完成了作品。后期我会继续完善这个项目，把离线语音识别方案实现出来，真正发挥这块开发板的价值！
bilibili:https://gitee.com/grinow/home-voice-assistant
gitee:https://www.bilibili.com/video/BV1gU4y1o7XJ/