用于端点AI加速的10大处理器详解

工智能和机器学习应用的加速是一个相对较新的领域，各种各样的处理器不断涌现，加速了几乎所有神经网络的处理工作。无论是处理器巨头还是行业新贵，都在尽力提供差异化产品——或是针对不同的垂直市场、应用领域或功率预算，或是具有不同的价位。本文列出了目前市场上有代表性的10款AI加速处理器。

应用处理器

英特尔Movidius Myriad X

Myriad X由爱尔兰初创公司Movidius开发，该公司于2016年被英特尔收购。Myriad X是Movidius的第三代视觉处理单元，也是首款搭载专用神经网络计算引擎的处理器，可提供1TOPS的运算能力，专门用于深度神经网络（DNN）计算。神经网络计算引擎与高吞吐量智能存储器件直接连接，避免了数据传输时的任何存储瓶颈。Myriad X支持FP16和INT8计算，拥有一个内核群（包含16个专有SHAVE内核），以及升级扩展版的视觉加速器。

Myriad X可用于第二代英特尔神经计算棒（NCS2），NCS2实际上是外形跟U盘一样的评估平台。它可以插入任何工作站，使AI和计算机视觉应用能够快速启动并在专用的Movidius硬件上运行。

恩智浦半导体i.MX 8M Plus

i.MX 8M Plus是一款异构应用处理器，采用芯原的专用神经网络加速器IP（Vivante VIP8000）。它为消费者及工业物联网端点设备提供2.3TOPS的推理加速能力，足以完成多个物体的识别、40，000个单词的语音识别，甚至还可以对医学影像进行分类（MobileNet v1每秒对500个影像进行分类）。

图1：恩智浦的i.MX 8M Plus是该公司首款搭载专用神经网络加速器的应用处理器，专为物联网应用而设计。（图片来源：恩智浦半导体）

除神经网络处理器以外，i.MX 8M Plus还搭载运行速度为2GHz的4核Arm Cortex-A53子系统，以及Cortex-M7实时子系统。针对视觉应用，它提供两个图像信号处理器，可以支持两个立体视觉高清相机或一个12MP相机。针对语音应用，它提供一个800MHz HiFi4音频数字信号处理器（DSP），可用于语音数据的预处理和后处理。

XMOS公司xcore.ai

xcore.ai用于实现人工智能物联网（AIoT）应用中的语音控制。它是一种交叉处理器，兼具应用处理器的性能以及微控制器的低功耗与实时操作特性，用于语音信号的机器学习推理。

图2：XMOS公司的xcore.ai采用专有架构，专为语音应用中的AI处理而设计。（图片来源：XMOS）

它采用XMOS专有的Xcore架构，包含的逻辑内核可用于I/O、DSP、控制功能或AI加速。每颗xcore.ai芯片上有16个这样的内核，设计人员可以根据需要选择为每种功能分配多少个内核。通过将不同功能映射到固件中的逻辑内核，可以创建一个“虚拟SoC”，这完全是通过软件实现的。XMOS还在Xcore中增加了向量管道功能，用于机器学习。

xcore.ai支持32位、16位、8位和1位（二进制）网络，可提供3200MIPS、51.2GMACC和1600MFLOPS的运算能力，同时拥有1MB嵌入式SRAM以及一个低功耗DDR扩展接口。

汽车SoC

德州仪器TDA4VM

TDA4VM是德州仪器首款搭载专用深度学习加速器的片上系统（SoC），是应用于汽车高级驾驶辅助系统（ADAS）的Jacinto 7系列的一部分。该模块采用C7×DSP及内部开发的矩阵乘法加速器（MMA），运算能力高达8TOPS。

图3：德州仪器的TDA4VM用于复杂的ADAS，使车辆能够感知周围环境。（图片来源：德州仪器）

这款SoC可以处理来自一个8MP前置摄像头的视频流，或者处理来自4到6个3MP摄像头加上雷达、LiDAR和超声波传感器的组合数据。例如，在自动代客泊车系统中，其搭载的MMA可用于对这些输入数据进行传感器融合。

TDA4VM专为5W至20W的ADAS应用而设计。该产品目前处于预生产阶段，但已有可用的开发套件。

GPU

英伟达Jetson Nano

英伟达著名的Jetson Nano是一款外形小但功能强大的图形处理单元（GPU）模块，专门针对端点设备中的AI应用。该公司表示，与大多数Jetson系列产品（AGX Xavier和TX2）一样，Nano模块上的GPU采用Maxwell架构，有128个内核，运算能力达到0.5TFLOPS，足以处理多个高分辨率图像传感器的数据流并运行多个神经网络，功耗仅为5W。该模块还搭载了4核Arm Cortex-A57 CPU。

图4：英伟达的Jetson Nano模块搭载具有128个内核的强大GPU，适合边缘AI应用。（图片来源：英伟达）

与英伟达其他产品一样，Jetson Nano也采用了英伟达的神经网络加速库CUDA X。价格便宜的Jetson Nano开发套件已经面市。

消费类协处理器

Kneron公司KL520

Kneron是台湾旅美科学家在美国成立的一家初创公司，首款产品为KL520神经网络处理器，专用于智能家居、安防系统和移动设备等应用中的图像处理和人脸识别。经过优化，它可以运行图像处理中常用的卷积神经网络（CNN）。

图5：Kneron公司的KL520采用可重配架构和巧妙的压缩技术，在移动设备和消费类设备中完成图像处理。（图片来源：Kneron Inc.）

KL520运算能力达到0.3TOPS，功耗仅为0.5W（相当于0.6TOPS/W）。该公司称其芯片MAC效率超过90％，能够实现精确的人脸识别。芯片架构可重新配置，并针对不同的CNN模型量身定制。Kneron公司的辅助编译器采用压缩技术，能够在有限的芯片资源内运行更大的模型，从而节省了功耗和成本。KL520现已上市，制造商AAEON的加速卡中（M2AI-2280-520）便使用了这款处理器。

Gyrfalcon公司Lightspeeur 5801

Gyrfalcon公司的Lightspeeur 5801是为消费类电子产品市场而设计的，可提供2.8TOPS的运算能力，功耗为224mW（相当于12.6TOPS/W），延迟仅为4ms。Gyrfalcon采用了比其他架构更节能的“存储器内处理器（processor-in-memory）”技术，并且可以在50MHz和200MHz之间改变钟速度，从而相应地调节功耗。Lightspeeur 5801包含10MB存储器，因此整个模型都可装在芯片上。

Lightspeeur 5801是该公司生产的第四款芯片，已经用在LG的Q70中端智能手机中，用于相机效果的推理。5801 Plai Plug U盘开发套件现已上市。

超低功耗

Eta Compute公司ECM3532

ECM3532是Eta Compute公司的第一款产品，在物联网电池供电或能量采集设备中用于AI加速。在图像处理和传感器融合等一直处于运行状态的应用中，其功耗可低至100µW。

该芯片搭载两款内核，Arm Cortex-M3微控制器内核和NXP CoolFlux DSP。它采用专有的电压和频率调节技术，可以调节每个时钟周期，以充分利用两个内核的每一瓦功率。两个内核的任何一个都可以执行机器学习（但一些语音处理由DSP来完成更好）。ECM3532样品已经推出，预计第二季度开始量产。

Syntiant公司NDP100

NDP100处理器由美国初创公司Syntiant设计，可对超低功耗应用中的语音命令进行机器学习推理。这款芯片采用存储器内处理器技术，仅消耗不到140µW的有功功率，可运行关键词发现、唤醒词检测、说话人识别或事件分类等模型。

图6：Syntiant公司的NDP100适合超低功耗应用中的语音处理。（图片来源：SyntiantCorp.）

Syntiant公司称该产品将用于消费类电子设备的语音操作，例如耳塞式耳机、助听器、智能手表和遥控器。其开发套件已上市。

GreenWaves公司GAP9

GAP9是法国初创公司GreenWaves开发的第一款超低功耗应用处理器，它搭载由9个RISC-V内核组成的强大计算集群，其指令集经过高度定制可以最大程度降低功耗。它具有双向多通道音频接口和1.6MB内部RAM。

在电池供电的物联网设备中，可使用GAP9来完成图像、声音和振动检测等神经网络处理。根据GreenWaves数据显示，在GAP9运行MobileNet V1来处理分辨率为160×160的图像时，通道缩放值为0.25，用时仅12ms，功耗低至806μW/帧/秒。