AI:机械手石头剪刀布

 

人工智能正在占据越来越多的应用和生活场景，例如图像检测和分类，翻译和推荐系统等等。基于机器学习技术的应用数量庞大且还在不断增长。采用Enclustra(瑞苏盈科)结合FPGA和ARM处理器的核心板模块，在离线和边缘使用AI前所未有的容易。

 

 

VISUAL & AI

2021年4月，受与非网之邀，Enclustra前往慕尼黑上海电子展参加直播间的Demo Show。Enclustra以“基于FPGA的AI，机器视觉，运动控制”为主题，开场时展示了机械手和人互动玩石头剪刀布的demo并邀请现场的朋友体验。

 

 

 

VISUAL & AI

FPGA低延时、低功耗的特性在这个demo中体现出了优势。搭载SyntharaIP核的神经网络运行在基于Xilinx Zynq UltraScale+的Enclustra水星Mercury+ XU7-15EG 核心板模块(SoM based on XCZU15EG)和水星Mercury+ PE1底板，分析摄像头采集的流媒体数据。手势是被实时检测的，每张图片的推理只需要8~9 ms，灵敏度超过100 fps。常见的摄像头为30或者60 fps，所以瓶颈在于摄像头的帧率。机械手伺服电机根据游戏规则做出反应。

 

 

VISUAL & AI

值得一提的是这个demo实现了在单个设备中处理各种传感器和信号：图像处理、神经网络推理、机械手都在一个FPGA中被控制。

 

 

VISUAL & AI

玩家手势的图片被分为5类：石头，剪刀，布，非法手势，无手势。为了让神经网络能对图片进行精准的分类，Enclustra从几位玩家录制的视频中采集了多样化的图片：不同的玩家，男/女玩家，不同饰品（手表，腕带，长袖…），不同亮度，左/右手玩家，不同的移动速度，不同的距离，等等。在神经网络学习了近一万张图片后，具备了快速打败新玩家的能力。

 

ABOUT US

瑞苏盈科(Enclustra)是FPGA领域全球一流的公司之一， 2004年成立于瑞士并成为Xilinx官方合作伙伴，同时是Intel FPGA金牌方案商、Microchip官方方案商，提供FPGA核心板/开发板、FPGA IP核、全栈设计服务，目前有来自29个国家的员工在全球70+国家服务1600+客户。2019年正式进入中国市场，成立全资子公司瑞苏盈科（深圳）科技有限公司，成立之初便建立本土工程师团队，为中国客户带来更好的本土化支持与服务。