瑞萨e2 studio中Reality AI组件的使用方法

实验指南

概述

本实验将为您介绍如何在e2 studio中使用Reality AI相关组件来进行AI开发，主要涉及如何使用Reality AI Data shipper/collector，Reality AI Data Storage Tool等工具来采集，存储数据文件，同时将数据文件上传到Reality AI portal中进行模型训练与生成，代码部署与调试。

本实验基于3轴加速度传感器的X，Y，Z，3轴加速度在不同动作下的变化，使用Reality AI tools训练并生成模型，来识别不同的动作。开发流程简单，快捷易用。

实验目标

掌握Reality AI Data shipper/collector的基本使用方法

掌握Reality AI Data Storage Tool的基本使用方法

实验材料

Windows10/11 PC

FPB-RA6E2开发板及其配件

ICM-42670-P模块

FSP 5.4.0

e2 studio 2024-04及以上

Reality AI Tools账号

技能要求

熟悉Renesas e2 studio操作

了解RA MCU的外围接口

一安装和准备

本节要点

本节学习如何搭建实验以及如何将套件连接至电脑端。

步骤

1.1首先确保已安装所有实验工具。

e2stduio 2024-04及以上版本

（此链接包含了FSP5.4.0）

https://github.com/renesas/fsp/releases/download/v5.4.0/setup_fsp_v5_4_0_e2s_v2024-04.exe

 JLink RTT-Viewer V7.96g及以上版本

https://www.segger.com/downloads/jlink/

1.2本实验将用到如下组件：

Micro USB数据线1根

FPB-RA6E2 1块

ICM-42670-P模块1块

PMOD bridge板1块

1.3请按以下步骤操作：

将ICM-42670-P模块和PMOD bridge板，按照下图安装（注意安装方向）。再与FPB-RA6E2的左下PMOD1端口连接。

用Micro USB线，一端接入FPB-RA6E2板Micro USB端口，另一端接入PC USB接口。

右上黄色Debug LED和右上绿色Power LED会常亮。如果是处于代码调试过程中，黄色Debug LED会处于闪烁状态。

1.4打开PC设备管理器，在端口（COM和LPT）中会显示“Jlink CDC UART Port（COMxx）”，表示PC已经识别到FPB-RA6E2板上的JLink CDC UART。在通用总线设备中会显示“BULK interface”（这个不是必要的，有些版本的windows不会显示这个信息）。

注意：中文版本的Windows显示信息会略有不同，会显示通信端口（COMxx）或者串行端口（COMxx）。

1.5使用已经申请到的Reality AI Tools账号登录Reality AI Tools网站（您可复制下方链接至浏览器，或扫描二维码查看）。账号申请需要联系Renesas代理商或者Renesas销售。

Reality AI Tools网站

https://portal.reality.ai/login

保持浏览器页面如上图所示。

二数据采集

本节要点

本节学习e2 studio中Reality AI组件的使用。

工程代码

https://gitee.com/recn-mcu-ae/fpbra6e2amrtraining

步骤

2.1运行e2 studio，点击File->Import。

2.2选择General->existing Projects into Workspace，运行“Next”。

2.3导入FPBRA6E2_AMR_training工程文件按照下图所示，然后运行“Next”。

2.4返回到Reality AI Tools网页界面，创建一个新的项目“Asset Tracking”。

Name填写Asset Tracking。

Description主要是用来描述项目简略情况的，可以不填，或者按照自己的需要填写。

2.5单击网页右上角的用户名，选择“Api Key”。

2.6单击下面的“Generate New API Key”后，再单击右侧的Copy按钮复制显示的“API Key”。

2.7点击e2 studio中的Renesas AI->Reality AI Authentication。

粘贴上一步复制的API Key，并运行“Apply and Close”。

2.8点击“Test Connection…”，进行连接测试。

如果显示下面界面，表示e2 Studio已经成功连接到Reality AI Tools。

2.9点击e2 studio中的Renesas AI->Show View->Reality AI Data Storage Tool。

2.10将项目切换到FPBRA6E2_AMR_training，再点击“Data connection…”。

COM port选择1.4步骤中的Jlink CDC UART Port，波特率选择115200，其他配置参考下图显示。

点击“Connect”。然后再点击“Close”。

2.11点击图标

来编译工程。

本工程经过编译后，应该没有任何errors或者warnings。

2.12点击按钮

启动调试并检查控制台中的

内容是否成功建立了连接。

2.13如果你遇到下面所示弹出的窗口，勾选“Remember my decision”，并点击“Switch”。

2.14点击按钮

两次。

此时，程序正常运行起来。

2.15点击Reality AI Data Storage Tool视图中的Data file setting…。

这里可以设置

采集的数据文件的格式，支持csv，wav格式文件。

数据的采样率。

采集数据文件的存储地址。地址可以根据自己情况设置。

2.16点击Reality AI Data Storage Tool视图，可以看到三种实时运行的波形图。

注意：如果波形没有出现或者波形图不动，点击红色框中的File review，再点击Live view。如果还是没有波形图出现，检查上述步骤中的JLink CDC UART是否连接正常。

2.17在Class name中输入当前的数据标签normal/shake/drop，生成的数据文件会以标签名为前缀名，并加上采集的data collector的ID号和时间戳。

如：drop_id0_20240813222558879.csv，表示该数据文件是drop类别的数据，它是由data collector0在2024年8月13日22点25分58秒879毫秒采集的。

本实验一共需要采集3类数据，normal（正常）、shake（摇晃）、drop（跌落）。每类数据采集1分钟左右即可。

注意：尽量做到每类数据采集的时间相同，这样可以确保接下来的训练数据处于平衡的状态。

normal是板子处于静止的状态下采集的数据。

shake是拿着板子左右摇晃，前后摇晃或者移动板子的状态下采集的数据。

drop是拿着板子离桌面10cm左右，自由落体跌落的状态下采集的数据。（建议在泡沫或者软材质垫子上进行，避免板子损坏）。

点击“Start new capture”，开始进行数据采集。点击“Stop capture”停止采集。

2.18选择已经采集的数据文件，点击右下角的upload…按钮，上传数据到Reality AI Tools中。

2.19在弹出的窗口中选择“Asset Tracking”，并输入采样率1600。点击OK，等待数据上传。

数据上传完成后，会有如下提示窗口弹出。同时，文件列表中的Status显示为Uploaded。

2.20点击图标

来终止程序运行。