拼命甩开“伪需求”污名的边缘AI

电子发烧友网报道（文/周凯扬）作为用户，我们已经见证了人工智能从产品向功能的演化，而这股趋势正在蔓延至边缘端。然而边缘端由于功耗、算力要求严格，部分现有的方案效果不佳，边缘AI常常被冠以“伪需求”的污名，但对于无论是AI芯片厂商、IP供应商还是软件方案商，都在竭力证明自己的潜力。
 
换着法子追求低功耗
 
在不少人看来，AI芯片分为云端和边缘端，云端AI芯片面向服务器和HPC，自然要求做到高性能，但与此同时功耗自然不低，且往往将推理和训练分隔开。而边缘芯片的要求则恰恰与其相反，追求的首先就是低功耗。
 

旭日3 / 地平线

 
在当前的趋势下，由于边缘端设备涉及的范围太大，小到一个智能水表，大到自动驾驶汽车，所以对在对于算力和功耗的要求上各有不同，所以即便同属边缘AI芯片，也不好直接对比。比如有的是独立的AI芯片，有的是起到辅助作用的协处理器。以地平线的旭日3系列就是针对智能前视和边缘计算市场的边缘AI芯片，其中X3M可以提供5TOPS的AI等效算力，X3E可以提供3TOPS的AI等效算力，在台积电16nm的制程和地平线的芯片设计下，该系列的功耗已经做到2.5W。但即便是这样的低功耗，也不能说覆盖所有的边缘AI场景。
 

AML100 / Aspinity

 
今年年初，AI初创公司Aspinity发布了AML100 AnalogML芯片，一个主打模拟机器学习的低功耗边缘AI芯片，最高支持4个模拟传感器。该芯片面向那些需要实时唤醒的边缘AI应用，比如智能家居中的安全监控、可穿戴设备上的智能语音控制、以及预防性和预测性维修中的异常检测等。这些应用都有着一个共通的特质，那就是离不开传感器。传统的实时唤醒结构将传感器的模拟信号传递给ADC，转换成数字信号后再发往数字处理器，如今这类方案已经可以实现极低的功耗。
 

传统架构与AML100架构的对比 / Aspinity

 
但在Aspinity看来，这种结构需要模拟和数字系统均保持实时在线，ADC对传感器输出的数据“来者不拒”，因此数字处理器承担了对所有数字信号的处理工作，如此一来功耗基本都在3000-5000µA的水平。而AML100的可配置模拟核心支持直接对模拟数据进行特定的信号处理，比如频谱分析、神经网络特征提取等，最终输出真正有用的传感器数据，最后再传给数字处理器。如此一来数字处理器不需要时刻处于唤醒状态，只需要在检测到必要数据时唤醒即可，而AML100组成的模拟系统功耗可以做到100µA以下。据Aspinity的说法，AML100可见电池寿命延长20倍。
 
模型带来的困扰
 
光靠AI芯片自然是不足以支撑起整个边缘AI的发展，大家也都知道模型是AI中不可或缺的一环。然而边缘侧的定义已经注定了跑不起那些大规模的AI模型，所以只能跑那些规模较小，并随算力扩展的机器学习模型，比如TinyML等，所以边缘端的软件栈同样挑战不小。此外，为不同的硬件调整AI模型也是边缘端部署AI的一大痛点。如此一来，虽然不少边缘AI芯片已经做到了足够的优异的性能，在软件生态尚未成熟之下，应用场景依然少之又少。因此，边缘AI的优化往往以缩小开销优化模型为主，使其适应边缘端这一应用场景，在低功耗也能实现绝对的优势。
 
最近又一家美国AI初创公司浮出水面，并获得了来自高通创投和Foothill Venture等公司的1000万美元种子轮融资。其初创团队包括深鉴科技（被赛灵思收购）联合创始人兼Deep Compression技术开发者韩松、前Facebook AI的技术主管Di Wu等。从几位创始人的履历来看，都在AI和深度学习上有着丰富的经验，而且都是清华电子工程出身的，考虑到Foothill Venture也就是改名前的清源创投，倒是不稀奇了。
 

OmniML的创始人 / OmniML

 
团队上就不过多展开讲了，毕竟阵容再豪华的初创公司也得拿实力说话，OmniML的王牌又是什么呢？单看几位创始人过去的成果，确实很擅长减少模型的压缩优化，尤其是他们也活跃于TinyML的开发社区。在OmniML官网的描述中指出，OmniML提供的软件方案可优化AI/ML模型，将它们轻易部署在边缘设备中，又不会损失性能和精度，与此同时，OmniML提供一种硬件感知的神经架构搜索，只需训练模型一次，就可以部署在任何硬件中，无论是GPU、AI芯片还是低功耗的MCU，即便是老的硬件设备也能在OmniML的助力下获得强大的AI/ML能力。
 
根据高通的说法，OmniML的神经架构搜索并不是单纯的压缩模型来做到优化，而是从一开始就创建一个高效的新模型，对于边缘硬件的客户来说，不仅可以降低时间和资金成本，还能有效提升精度。OmniML声称他们这种神经架构搜索已经用于亚马逊的AutoML和Meta的PyTorch深度学习框架中。
 
考虑到开发团队有着深厚的机器视觉背景，OmniML也首先面向自动驾驶和智能摄像头，他们展示了6车载摄像头传感器融合的3D检测方案、以及基于Cortex M7 MCU的人体检测和人脸/口罩检测。
 
边缘AI的需求不算小众
 
在呈现的无尽潜力面前，边缘AI还是常常被人“边缘化”，但如果我们直接看应用市场的话，就会发现边缘AI的需求巨大。无论是TWS耳机的主动降噪，服务机器人的语音识别还是汽车的自动驾驶，边缘AI的发展必将为这些场景带来更大的功耗优势，节省成本的同时加快落地速度。