媒体聚焦 | 来看今年全国大学生电子竞赛获奖作品,有人用AI做了个餐柜

描述

 

 

导读

最近,全国大学生电子设计竞赛下设信息前沿专题邀请赛颁奖典礼在南京邮电大学举办。我们看到了其中的几个一等奖作品,其中获得“瑞萨杯”的是用AI技术做的餐柜。

作者:黄烨锋

责编:Illumi

 

这两年,疫情虽然影响到了很多行业内的原有活动安排,但项目推行质量也还是很坚挺。比如全国大学生电子设计竞赛下设的信息前沿专题邀请赛。

 

2020年我们也参加了瑞萨杯信息前沿专题邀请赛的颁奖典礼——原本按照双数年举办的传统,这个赛事的颁奖典礼也应该在2022年举办。但因为疫情,颁奖典礼从原定的去年8月,推迟到11月,最终延后到了今年3月,也算是好事多磨了。

 

在接受采访时,西安交通大学秘书长罗新民教授说不仅是颁奖典礼,比赛的展开也多番受到影响,比如在明确了邀请的高校队伍之后,瑞萨准备的开发板就要发往学校——但恰逢去年上海为期3个月的防疫封禁,“迟迟没有快递小哥能把这些东西送出去。”罗新民说,“后来我们有几个学校的指导老师当起了快递小哥,自己去给各个高校送了开发板。”项目呈现、评审过程也是线上线下结合的方式。

 

不过最终呈现的作品质量并没有受到影响。2022届的瑞萨杯邀请赛主题为“网络化语音图像检测与识别”。其实2020届的比赛就已经在尝试迎合时代AI主题,更多引入计算机视觉应用了。当时评委在接受采访时还提到,学生对于AI推理算力的利用仍然没有那么充分;但从今年的作品来看,切题程度是更加到位的。

 

 

几个一等奖获奖作品

 

比如说组委会委员/专家组专家、华南理工大学的殷瑞祥教授特别提到了“利用图像识别技术,把箱子里的面包、烘焙食品认出来,知道里面还有哪些食品、存量多少等等;然后通过互联网,实现进货、库存增减等操作”。

 

 

 

这个项目就是本次邀请赛获得了瑞萨杯的作品,厦门大学的“慧眼识珠-基于瑞萨RZ/G2L的现制烘焙简餐柜”(参与学生:林朴坚、黄添豪、廖元熙)。活动现场展示这个作品描述提到,是“将经过优化的YOLOv5目标检测算法部署在瑞萨嵌入式芯片RZ/G2L上”,结合人脸识别算法实现自助结算。

 

YOLOv5的“裁剪优化”,并部署于RZ/G2L板,应该是这个项目的核心。另外基于摄像头、QT人机交互界面的自助终端和服务器,实现取物、支付之类的操作,似乎也是项目重点。虽然因为时间关系,我们没能对项目做更为细致的了解,不过这个作品的完成度比我们前两年看到的大学生竞赛作品都更高,对于CV应用的实践也更为成熟。

 

瑞萨

瑞萨杯获奖队伍

 

值得一提的是,殷瑞祥教授评价本届邀请赛强调的“网络化”主题,在得奖作品中有比较好的体现。“不光是本地开发板资源的利用,同时还要考虑如何充分利用互联网技术、云资源来做开发。”殷瑞祥说,“从同学们的作品来看,现在的大学生应用互联网资源很娴熟,作品也能充分体现网络化主题。”

 

瑞萨电子中国战略市场销售部高级经理于涛也说:“大部分作品在网络化这块都有挺好的体现。一等奖瑞萨杯的这个作品,其实它不光是简单的卖面包的这么一个系统,它包含有云端、数据库,还有人脸识别、购买习惯管理的一套东西做支撑。”“我记得还有个南邮的作品,是空地协同的搜救系统。天上有个无人机,地下一辆救援车,两头互相通信协调。网络化技术在同学们的应用里还是挺好的。”

 

网络化实际上也切实体现了作品完整度的增强。5个一等奖作品里,除了得到本届瑞萨杯的上述作品,还有4个一等奖作品在颁奖典礼现场也做了展示。分别有下面这些:

 

 

▲ 智能出餐系统(林钰哲、张承翰宇、谭程珂,杭州电子科技大学)。整个作品包含了云端服务器系统、主控系统、从控系统。云端服务器系统下,可用微信公众号平台点餐;餐厅管理人员可以登录后台查看订单情况、修改上架菜品。

 

主控系统以瑞萨RZ/G2L为核心,“每隔一段时间向服务器申请订单信息”,通过摄像头捕获图像信息,藉由YOLOv5模型对传入的画面进行菜品识别,并将结果传输至从控系统。从控系统有个机械臂,上面接了勺子,用于打菜,“在接收到从控系统的数据后”“内置的G2L核心板控制舵机系统,根据既定的运动指令操控机械臂”——这个从控系统本质上也就是个完整的执行系统。

 

瑞萨

▲ 智能垃圾分类系统(姜荣昇、孙海华、张广源,青岛大学)。主要功能是实现对垃圾的识别和分类,也是基于计算机视觉进行垃圾图像分类“和语音功能”——虽然不知道这个语音功能究竟是做什么的;执行部分会有开关、垃圾桶状态检测上传;另外配套开发了app,可以从中查看垃圾桶状态,比如在垃圾桶满时,会有实时消息推送。

 

瑞萨

▲ 全自主空地协同搜救系统(朱淳溪、代军、冯骥川,南京邮电大学)。“基于V-SLAM的空地协同搜救系统”,“集合了无人机嵌入式声源定位(SSL),搜救音频信号处理与识别、受灾人体识别、多传感器融合定位、视觉SLAM、自主路径规划、多模态信息处理,目标检测以及智能体间目标位置的实时共享、网络化远程遥控等功能”。

 

展示的主体部分包括无人机和救援车。这套系统的亮点从介绍来看还挺多,包括“自主设计八通道立方体麦克风阵列,可实现对三维空间多方位的音频信息采集”;“利用瑞萨开发板上集成的TensorFlow-Lite环境搭建深度网络用于人脸检测,RNN网络用于人声提取”;还有“实时定位与建图”“动态避障与路径规划”,实施方案详情未知,看起来是个大工程... ...

 

瑞萨  

▲ 行车安全预警系统,主要是疲劳驾驶检测(关舟、张梓健、王虹极,西安交通大学)。摄像头的驾车者疲劳识别自然是主体,这个项目的核心大概在于对于眼部、嘴部、头部姿态的疲劳状态识别,“结合偏差时间累积算法避免误检”;另外加入了GPS模块用于检测车速,并记录驾驶时长等信息;以及有语音示警,和远程云端管理后台功能。

 

以上是有关作品介绍的部分,再来谈谈以上所有得奖作品围绕的硬件核心,也就是基于瑞萨RZ/G2L的开发板。虽然今年的邀请赛同样大方向着眼在了CV,但并没有像去年那样选择RZ/A2M——也就是带DRP、专用AI单元的微处理器。

 

 

 

RZ/G2L的边缘AI推理,主要是依托于Cortex-A55的NEON指令集增强,“AI推理性能比前代产品提升约6倍”,“推理时延降低50%”。这应该也算是相当符合了当代TinyML时代潮流的选择。

 

瑞萨电子中国MPU事业发展部经理张智博说:“我们两届比赛给同学们选用的是不同的平台,希望可以丰富比赛多样性”:A2M“更加面向工业软件应用场景”,“像是RTOS这样的系统”;“而G2L平台跑Linux系统”,“这个平台主打的不是图形图像加速,而是工业HMI场景”。

 

另外张智博还谈到了RZ/G2L的“五大优势”:除了Cortex-A55相较之前的A53性能提升,以及强调边缘AI处理性能加强之外,还包括(1)工业HMI所需功能和接口丰富,包括MIPI、两路千兆以太网、两路CAN-FD等,“除了用RZ/G2L平台做工业HMI应用场景,还有许多客户会将其用于控制侧场景,比如PLC,比如太阳能逆变器管理侧”;(2)内置了12位ADC、Cortex-M33子核,“还有个优化的电源管理芯片集成在平台上”。所以电路板整体尺寸可以更小,降低BOM成本。(3)针对工业级应用,提供“超长期支持Linux”“10年以上的长生命周期”——这一点主要是基于CIP Linux内核,“CIP联盟做了工业级Linux,对Linux系统会有10年以上内核的支持”,“瑞萨是CIP联盟的创始成员之一,会和CIP联盟成员共同参与维护、开发和支持”。(4)平台硬件和软件可扩展性支持,包括针对部分平台的pin-to-pin兼容性,包括V2L、G2LC等。

 

 

这种比赛的价值究竟何在?

 

全国大学生电子设计竞赛,大框架是分成了单数年的全国大赛,和双数年的邀请赛的,瑞萨杯是后者的一部分。瑞萨是从2008年开始参与全国大学生电子设计竞赛的。2018年属于赛制转变,也就是“瑞萨杯”信息科技前沿专题邀请赛新10年的开端。罗新民教授也将邀请赛称作“精英赛”,“面向电子信息类的双一流学校和相关专业的学生,做定向邀请”。

 

“从2018年开始,我们升级转变为信息科技邀请赛,到现在已经举办了三届。2022年是第三次。”瑞萨电子中国总裁赖长青在活动上说,“最早期的10年5届大赛有1000多所高校、10万+人参与。现在的邀请赛变得更加专业,要求也更高。”新10年的每一届瑞萨杯邀请赛,大约会有90支左右的队伍受邀参与。

 

每次参与此类活动,主办方似乎总要被问到,活动的价值何在。因为即便是精英邀请赛,一般来说面向大学生限定主题和时间的参赛作品,离真正的商用还是有距离的。而且很多时候,得奖作品选择的主题在市面上都已经有非常成熟的对应方案。那么这种比赛的意义就很值得关注。

 

要说这类赛事的价值,应该是对国家或社会,对冠名赞助的企业,以及对学校和学生这几个方向分别有何价值。北京理工大学副主任赵显利教授说:“大学生电子设计竞赛从开始到现在已经30年了。竞赛的目的也在与时俱进不断更新。”“当年教育部刚刚发起这个竞赛的年代,中国大学生的动手能力还比较差。我们当时竞赛的目的就是为了培养大学生的动手能力。这是最初的目标。”

 

瑞萨

 

“现在的信息科技前沿专题邀请赛,则在于中国人才的培养。”赵显利教授谈到,“我们搞人才培养的,要跟上国家的步伐。所以竞赛就有了目标的提升。现在竞赛的目标是创新、拔尖人才的培养。这已经和最初动手能力的培养有了质的飞跃。这也是现在这个比赛叫做信息科技前沿专题邀请赛的原因。”这是从国家、社会层面所做的解答。

 

以学生为出发点,虽然作品还做不到商用,但可谈的似乎也不少。“在这么短的时间内,能够实现基本功能其实已经很出色了。要最终形成产品还有难度。”赵显利说,“但参加竞赛的同学,成长速度,和在原有学习基础上在企业中做出的贡献,不少人都是被企业认可的。”

 

就学校的角度来看,“我们在招研究生的时候看到有同学有过这方面的经历,就会更期待他能来上我们的研究生。”“有些同学被免试保送研究生,跟竞赛获得的成绩也是有关系的。说明各高校对这些竞赛还是非常赞赏。”

 

从市场的角度来看,“人才市场给予了高度认可,获得全国奖的同学非常抢手。”殷瑞祥教授特别举了普源精电和大疆创始人的例子,他们当年就是参加了电子设计竞赛的学生。于涛也说:“从成果物转化来说,比赛还是增强了同学们的社会竞争力的。从我们企业的角度来看,对于本科阶段参加过竞赛、接受过相关训练的同学,他们的工作能力、上手速度都确实很优秀,我们也很希望这样的同学能进来。”

 

最终从瑞萨作为赞助商的角度,“这么多年和组委会一起组织这些比赛,对我们来说也是学习的过程。”赖长青说,“我们更多地去和高校做配合、合作,也看到高校培养目标人才的能力越来越高。学生的水平,不管是理论水平、实践水平也增长得很快。”

 

“瑞萨也希望不管在全球市场还是中国市场,帮助社会利用我们的技术、方案和服务,做出更多的努力和贡献。”“另外,人才培养也是一方面。”“我们也会有一些校招计划等培养人才相关的部分,不光是在竞赛中,去吸纳优秀人才,是为半导体也是为瑞萨。这是另一个收获。”

 

 

 

更多内容欢迎查看:

*本文来源:电子工程专辑EETimesChina

 

1

END

1

 

瑞萨电子 (TSE: 6723)

科技让生活更轻松,致力于打造更安全、更智能、可持续发展的未来。作为全球微控制器供应商,瑞萨电子融合了在嵌入式处理、模拟、电源及连接方面的专业知识,提供完整的半导体解决方案。成功产品组合加速汽车、工业、基础设施及物联网应用上市,赋能数十亿联网智能设备改善人们的工作和生活方式。更多信息,敬请访问renesas.com

 


原文标题:媒体聚焦 | 来看今年全国大学生电子竞赛获奖作品,有人用AI做了个餐柜

文章出处:【微信公众号:瑞萨电子】欢迎添加关注!文章转载请注明出处。


打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分