RK3568国产实验箱+人工智能机械臂：跳舞、叠罗汉、夹方块、积木搬运案例全解！

 

一、产品简介

TL3568-PlusTEB人工智能实验箱

国产高性能处理器

64 位 4 核低功耗
 

2.0 GHz超高主频

1T 超高算力 NPU

兼容鸿蒙等国产操作系统

 

 

 

二、实验目的

1、了解语音控制模块的使用方法；

2、掌握基于语音控制实现机械臂特定动作的方法。

 

 

 

三、实验原理

程序功能

通过语音控制机械臂实现特定复杂动作：

机械臂叠罗汉

机械臂跳舞

机械臂夹方块

机械臂搬运

 

 

 

语音控制模块

如图示为语音控制模块的实物图和原理图，模块是基于CI122芯片。

 

 

 

语音控制模块是基于启英泰伦CI122模组的，CI112X 芯片具有较强的CPU运算能力，支持硬件NN加速，以及充足的RAM。能够完成一些常见的语音处理算法。主要包含了ASR（语音识别）和语音降噪功能。

 

语音识别，一般简称ASR，是将声音转化为文字的过程。CI112X系列芯片中，CI1122支持50 ~ 80条语音指令。

降噪（DENOISE）算法能有效抑制稳态噪声，在保证语音失真度的同时具有良好的噪声抑制效果。开启该功能后，可以通过降低稳态噪声的方式进行识别效果的提升，但是同时该功能会消耗24KB的芯片内部存储空间，并且会消耗CPU的带宽资源。

 

 

四、实验设备

实验软件

本实验中使用的软件为.VMware17+Ubuntu18.04.4 和串口调试工具Xshell。

 

 

实验硬件

本实验中使用的是TL3568-PlusTEB实验箱，所需的配件为Micro SD卡、Type-C线、电源、语音控制模块、网线和机械臂套件。

 

 

 

五、实验步骤

硬件连接

（1）将Ubuntu系统启动卡插至Micro SD卡槽。

（2）使用Type-C线连接USB TO UART2调试串口到PC机。

（3）将实验箱ETH0 RGMII网口（COM21）通过网线连接至路由器。

（4）将语音控制模块插入实验箱的GPIO/PWM/SPI/UART/CAN 拓展接口。

（5）连接实验箱电源，先不要上电。

（6）实验摆放位置按照黄色区域放置黄色积木块，红色区域放置红色积木块，绿色区域放置绿色积木块，蓝色区域放置蓝色积木块。

（7）将机械臂的摄像头连接到实验箱的USB2.0 HOST。

（8）使用MIcro USB线连接机械臂的USB口和实验箱的USB2.0 HOST。

（9）连接机械臂的电源，上电。

 

 

软件操作

（1）先在设备管理器查看串口的端口号；

（2）再设置串口调试工具，波特率设置为1500000，点击连接，在Xshell调试终端会显示连接成功。

（3）连接成功后，拨动实验箱的电源开关，将实验箱上电。

（4）系统启动成功后，输入账户密码登录即可（账密均为：tronlong）

（5）登录成功后，查询实验箱的网口地址。

 

 

 

拷贝文件

我们先打开Ubuntu，将Demo文件夹拷贝到RK3568目录下。

"Ctrl+Alt+T"打开控制台，执行命令将文件拷贝至实验箱文件系统（根据实验箱实际IP地址修改命令）。

 

 

运行程序

在串口调试窗口执行命令，启动开发环境

在网页输入地址，即可打开登录界面 （根据实际IP地址修改网页地址）。

输入密码：tronlong，登录。

在程序目录，双击打开程序，点击重新运行程序。

程序运行后，通过语音控制机械臂实现特定复杂动作，包括：机械臂叠罗汉、跳舞、夹方块、搬运。具体语音控制词汇如下：

唤醒词：你好创龙。

控制机械臂模拟跳舞：机械臂跳舞。

控制机械臂夹取方块：机械臂夹方块。

控制机械臂开始把积木块堆叠起来：机械臂叠罗汉。

控制机械臂搬运：机械臂搬运。

 

例如，先说：你好创龙，语音模块会回应：有什么可以帮您？接着说：机械臂跳舞，机械臂会模拟跳舞，同时语音模块会回应：开始跳舞。

 

夹方块、叠罗汉、搬运前需提前布置好方块的位置。

机械臂夹方块：在中间区域每次放一个方块，机械臂按照黄色-红色-绿色-蓝色的位置顺序从中间往周围放

 

机械臂叠罗汉：按照黄色-红色-绿色-蓝色的顺序堆叠。

 

机械臂搬运：将堆叠好的四个方块按照黄色-红色-绿色-蓝色的位置顺序从中间往周围搬运。

 

 

 

这是一条分割线