ABI Research的数据显示,预计到2024年底,设备端AI推理功能将覆盖60%的设备。但许多可以利用人工智能和机器学习(AI/ML)功能的网络边缘设备,往往需要在极其严苛的功耗限制下运行,充一次电或者仅依靠收集和存储能量就要工作几个月甚至几年。另一方面,近十年来AI模型快速发展,不断有新的实现方式产生,需要有更出色的硬件来承载,这就需要硬件和算法上的优化。
作为深耕低功耗FPGA领域多年的领先公司,莱迪思敏锐的意识到将低功耗FPGA与AI/ML进行深度融合,创建出一系列从硬件到应用层的端到端AI解决方案,将为消费电子、嵌入式系统、制造业、工业、汽车、农业等领域带来更多此前从未设想过的创新方案。
例如Glance by Mirametrix计算机视觉软件现在允许用户创建3D虚拟头像用于视频会议。这项新功能结合了Lattice在AI面部跟踪和软件开发方面的经验,可在所有视频通话平台上运行,任何人都可以通过动画头像参与会议。AI/ML功能还可以增强用户参会的其他体验。例如,基于AI/ML的面部取景功能可以利用内置视频会议摄像头的较高分辨率来裁剪和居中用户的头像,为视频会议提供较好的画面。
同样,手势识别可以为笔记本电脑、智能电视或任何其他支持视频的物联网设备添加非接触式手势操作功能。换句话说,手势控制可让消费者通过直观的手势轻松实现导航和控制,带来沉浸式的电视体验。从频道切换到音量调节,每一个动作都能变成控制命令。
与此同时,莱迪思也正在与合作伙伴和客户合作,利用多模式、智能传感器融合和AI/ML技术、以及Lattice SensAI解决方案集合,实现更深入的情景感知,助力下一代智能AI PC体验。
Lattice SensAI解决方案集合是业界第一款用于网络边缘设备端AI处理的完整解决方案集合,不但包括多种类型的卷积神经网络(CNN)加速器,对硬件平台的支持也从最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX,拓展到了新推出的低功耗中端FPGA平台Avant,可实现3D人脸识别、屏幕光自动调节、自动熄屏、人脸解锁等多种功能。
于是,我们看到在持续追踪用户ID应用中,通过将AI/ML分析和决策、计算机现有的传感器(摄像头和麦克风)与状态和注意力追踪结合使用,智能PC可在摄像头未检测到已注册用户时自动锁定用户的计算机。
存在检测另一个简单且实用的用途是在周围无人时关闭计算机。当用户长时间远离屏幕时,注意力追踪功能可以调暗计算机屏幕并激活低功耗模式,充当智能传感器中心的低功耗、小尺寸FPGA可以接收来自计算机传感器的输入,然后根据情况决定何时关闭显示器和CPU,以及何时应该给它们重新供电。
同样,这些功能也可以增强计算机的隐私和安全性。计算机的内置会议摄像头可用于监控用户身后的背景,检测是否有人从用户的肩膀后面窥视。如果计算机被配置为保护隐私,当授权用户背后有人疑似在偷窥计算机屏幕时,它可以弹出警告提醒用户甚至自动调暗屏幕。需要强调的是,使用这些解决方案,所有推理数据都保存在FPGA本地。仅将原数据传递给SoC,这进一步增强了隐私并提高了安全性。
在农业智能机器解决方案中,莱迪思利用FPGA芯片来实现基于AI的颜色筛选机器具有相当的代表性。传统的颜色筛选机器往往采用精度较低的CV方案,采用AI方案后,超轻量级AI模型会在掉落的物体中对可能存在的形状进行标注,然后将这些数据放置在神经网络里进行训练,之后再将训练出来的神经网络参数放到NN Demo当中,从而实现判断准确性的大幅提高。
上述所有案例都表明,莱迪思在本地和网络边缘领域具有独特的优势,积累了诸多令人印象深刻的产品组合,可以满足网络边缘AI设备快速变化的市场需求。设计人员可以在不依赖云端的情况下,快速为网络边缘设备提供更多计算资源。此外,通过使用针对低功耗运行而优化的低密度、小尺寸封装FPGA,设计人员还可以满足新的消费和工业应用对功耗和尺寸的严格限制。
全部0条评论
快来发表一下你的评论吧 !