×

边缘AI哪家强?芯片竞逐,平台为王!

消耗积分:0 | 格式:pdf | 大小:370.77KB | 2021-01-24

李伟

分享资料个

边缘计算的快速发展使得计算能力快速向边缘迁移,AI也逐步从中心节点向更贴近数据源和业务现场的边缘侧拓展,边缘与云的关系已经呈现出既有分工又彼此合作的局面。在边缘侧,边缘智能与边缘计算和人工智能相结合,能有效地执行实时、小数据的处理,开展AI模型的推理,并将结果回传至云端,这种云—边—端协同的边缘智能架构,解决了目前AI应用中存在的海量数据处理、实时响应以及数据安全等问题,为AI在更多行业的应用奠定了基础。

1、边缘智能:拓展AI新边界

IDC预测,到2025年,将有414亿台物联网设备,期间将产生73147EB数据,其中约四分之一是实时生成的。要想完全在云端对这些数据进行处理和AI分析,很可能超过系统和通信链路的处理极限,再加上网络带宽、数据安全等限制,要实现AI向多行业的渗透,还存在着诸多挑战。
随着人工智能向边缘侧的转移,AI行业应用得到了极大扩展。根据德勤的分析,现在的AI计算已经在制造业、政府、零售、电信、医疗等不同应用场景下获得应用。很显然,边缘智能在拓展AI边界过程中发挥了重要作用,它能显著提升AI针对现场多样化业务场景的适应性,从而更好地支撑业务运营,为客户创造更多的价值。

“图1:AI计算可以发生在不同的物理位置,而边缘智能有效拓展了AI应用边界(图源:德勤)"
图1:AI计算可以发生在不同的物理位置,而边缘智能有效拓展了AI应用边界(图源:德勤)

制造业是国民经济的基础性产业,同时也是推动智能化发展最迫切的行业之一。根据IDC的预测,未来几年,边缘智能支出在生产过程智能化、智能供应链与物流、数据安全与合规等应用场景将保持20%以上的年均复合增长率。以产品质检为例,它是工业制造中不可或缺的环节。传统的产品质检主要依靠人工目视检测,或者采用传统的基于模式匹配技术的机器视觉,这些做法很难满足复杂场景、复杂外观缺陷的检测需求,漏检、误检率高。采用智能边缘AI技术后,不仅显著提升了机器视觉检测能力和适用性,产品质量也能得到了有效控制。

在智慧城市建设中,AI应用已经渗透到城市管理、交通、民生等诸多方面。随着智慧城市向精细化和社区化下沉,边缘智能在智慧交通、应急响应、城市安全等场景下的应用日渐增多。IDC的预测是,在未来几年,边缘智能支出在城市运维管理场景这一市场将保持25%的增速。

5G支持的人工智能和创新应用对网络延迟有很高的要求,边缘智能在此过程中将发挥重要作用。比如电信运营商通过建设具备GPU的MEC边缘数据中心,就可以为行业用户提供边缘计算服务,降低企业自建边缘计算中心的成本。

对许多应用而言,边缘端显然是进行机器学习处理的理想位置,在医疗健康与生命科学行业更是展示出良好的应用效果。在过去的一年中,新冠肺炎疫情在全球蔓延,对现有的医疗保健系统造成巨大冲击。如果将边缘智能应用到医学影像辅助诊断中,可大幅提高辅助诊断的技术水平和工作效率。最新发布的阿里达摩院2021十大科技趋势预测中指出,新型AI算法的迭代及算力突破将解决药物分子靶点确证、药物可成药性等难题,例如在疫苗的研发过程中,借助AI,可快速找到疫苗的优质候选化合物。

根据IDC的预测,到2024年,制造业、政府、零售、电信、医疗五大行业在边缘智能应用上的支出将达到159亿美金,占整体边缘智能市场支出的49%。在上述这些重点领域,敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护已经成为核心需求,边缘智能将是实现行业数字化转型的关键。随着边缘智能技术和解决方案的不断完善,在汽车、消费电子、服装、钢铁、化工等信息化基础良好的行业,AI场景化应用也将逐步落地。

“图2:预计到2024年,全球边缘计算AI领域的支出情况(图源:IDC)"
图2:预计到2024年,全球边缘计算AI领域的支出情况(图源:IDC)

2、边缘AI平台:芯片厂商的竞争焦点

市场分析数据显示,2020年将有超过500亿的终端和设备联网,其中超过50%的数据需要在网络边缘侧分析、处理和存储。IDC预计,到2024年,全球企业在边缘应用上的支出有望达到2500亿美元,其中与AI技术相关的支出将达到326亿美元,占整体边缘市场支出的13%。

作为边缘智能的灵魂,边缘AI芯片有着重要地位,边缘设备只有通过AI芯片获得了自主计算的能力,才能称之为真正的边缘智能。

现在的AI芯片主要有两种,即云端AI芯片和边缘AI芯片。如果按照功能划分,又可分为训练芯片和推断芯片。市场上的边缘AI芯片很多是边缘推断芯片。虽然边缘AI芯片市场兴起时间不长,但参与者众多,其中包括NVIDIA、Intel、NXP、Xilinx、STMicroelectronics、Maxim Integrated等跨国企业,也有以寒武纪为代表的国内企业。

在推出芯片这一硬件产品的基础上,各厂商也在努力将软件开发工具、合作生态资源与其整合在一起,着力打造完整的边缘AI平台,加速相关应用的开发落地,这也成为了置身其中的各个芯片厂商的竞争焦点。我们不妨来看一下目前市场上比较有代表性的一些边缘AI平台。

01)NVIDIA EGX边缘AI平台

NVIDIA(英伟达)是全球GPU的龙头,在AI训练市场拥有强大的领先优势。面向边缘计算市场,英伟达有两款性能出众的EGX边缘AI平台产品:一款是用于较大型商业通用服务器的EGX A100聚合加速器,另一款是用于微型边缘服务器的微型EGX Jetson Xavier NX。这两款产品均拥有安全、高性能的AI处理能力。搭载了EGX A100的服务器可以管理机场中的数百台摄像头,而EGX Jetson Xavier NX则可用于管理便利店中的少量摄像头。

EGX A100是首个基于NVIDIA Ampere架构的边缘AI产品。它结合了NVIDIA Ampere架构所具有的突破性计算性能以及NVIDIA Mellanox ConnectX-6 Dx SmartNIC所具备的网络加速和关键性安全功能,能将标准型和专用型的边缘服务器转变为极具安全性的云原生AI超级计算机。其中,NVIDIA Ampere架构是NVIDIA的第8代GPU架构,为在边缘运行AI推理和5G应用等各类计算密集型工作负载提供了卓越的性能。

在开发环境上,借助NVIDIA提供的经过完整优化的跨EGX边缘AI平台云原生软件,EGX边缘AI平台的云原生架构使其可以运行容器化的软件,以支持一系列GPU加速的工作负载。其应用框架包括用于医疗领域的Clara、电信领域的Aerial、对话式AI领域的Jarvis、机器人技术领域的Isaac,以及用于零售、智慧城市、交通等领域的Metropolis。这些应用既能组合使用也可以单独使用。

在生态系统建设上,NVIDIA为EXG建立了庞大的合作伙伴生态系统,他们中有的是边缘服务器制造商,有的是混合云平台企业,比如Atos、Dell、富士通、GIGABYTE、HPE、IBM、浪潮、联想、Cisco等都是NVIDA生态系统上的重要一员。

02)NXP EdgeVerse平台

于NXP(恩智浦)而言,他们的边缘处理应用主要分三类:第一类是主要支持5G本地网络及数据集成的网络边缘应用;第二类是工业边缘应用,包括工厂自动化、基础设施、交通运输、医疗等;第三类是物联网边缘应用,包括智能家居、消费和可穿戴等。
NXP的EdgeVerse平台是一个功能全面的边缘计算和安全平台,它通过广泛的可扩展嵌入式处理产品组合,将实现高性能和高能效计算的构建模块聚合在一起,为工业、物联网和汽车等众多边缘应用提供强劲动力。

EdgeVerse平台包含NXP出色的可扩展嵌入式处理、安全、软件、行业解决方案等,非常适合物联网、工业和汽车市场等边缘应用。具体涉及的产品包括NXP i.MX嵌入式处理产品组合和Layerscape应用处理器、K32、LPC和Kinetis微控制器、i.MX RT跨界处理器,以及车用微控制器和处理器等。

“图3:恩智浦EdgeVerse平台架构(图源:NXP)"
图3:恩智浦EdgeVerse平台架构(图源:NXP)

为了支持IIoT的机器学习能力,NXP在不久前推出了集成专用NPU的i.MX系列产品——i.MX 8M Plus应用处理器。该处理器拥有2.3TOPS算力,内置最高2GHz的四核Arm Cortex-A53内核、800MHz Cortex-M7实时处理器,另有800MHz音频DSP用于语音和自然语言处理,还有双摄像头图像信号处理器(ISP)和3D GPU。i.MX 8M Plus还是一款集成了专用神经处理单元(NPU)的i.MX系列产品,通过Cortex-A53内核和NPU的结合,显著增强了边缘设备的学习和推断能力,可在工业和IoT边缘进行高级机器学习推理。

EdgeVerse平台还拥有一套严格的加密系统。EdgeLock安全产品组合就是EdgeVerse平台的组成部分,它能为安全标准非常高的器件提供高水平的安全认证和服务。

在开发环境上,NXP推出的EdgeVerse平台,通过提供工具和引擎,推动机器学习和推理,轻松实现云连接,激发和简化边缘人工智能。EdgeVerse平台包含NXP的eIQ机器学习软件开发环境、Immersiv3D音频体验套件和EdgeScale设备管理平台,开发者可配合现有模型使用,或者快速设计、培训学习和优化新模型。

在生态系统建设上,NXP已经与知名的云软件和服务提供商、原始设备制造商以及ODM建立了密切的合作,比如Microsoft Azure、Accton、AWS、Scalys、Delta等均为NXP的生态合作伙伴,支持其推出的一系列工业、零售和运营商应用的边缘计算解决方案。

03)Xilinx ACAP平台

ACAP平台是Xilinx(赛灵思)在2018年推出的新一代计算平台。根据Xilinx的介绍,ACAP并不是FPGA,而是整合了硬件可编程逻辑单元、软件可编程处理器以及软件可编程加速引擎的计算平台产品。基于ACAP架构的首款产品名为Versal,主要面向人工智能推理市场。

Versal基于TSMC(台积电)7nm工艺,结合了软件可编程性和针对特定领域的硬件加速,具有高度的适应性。Velsal包括六款器件,采用独特的架构,它继承了CPU、GPU和可用于数据中心加速的FPGA,实现了可满足包括云、网络、边缘计算、无线通信和终端节点等各种应用市场需求的AI推理性能。Xilinx甚至将Versal称为SoC界的瑞士军刀。

图4:赛灵思Versal Premium架构框图(图源:Xilinx)

与此前在市场上叱诧风云的Xilinx Zynq Ultrascale + MPSoC相比,Versal缩减了中央FPGA模块的尺寸,为额外的DSP、ARM内核、推理组件和I/O模块腾出了足够的空间。按照Xilinx自己的说法,Versal芯片的能效可以达到英伟达GPU的4倍,推理性能是英伟达的2-8倍。

在开发环境上,Vitis是Xilinx历时5年、投入总计1000个人工年打造的一款统一软件平台,可实现在Xilinx异构平台,包括FPGA、SoC和Versal ACAP上开发嵌入式软件和加速应用,为边缘、云和混合计算应用加速提供统一编程模型。正是基于上述的这些性能优势,Xilinx自信地将Vitis称作是具有里程碑式意义的产品。

Vitis是一款从云到端、从软件到AI都提供了综合全面的库和模型的统一软件平台。其中,AI科学家可以利用Vitis AI高层次框架训练自己的模型。Vitis AI支持自适应实时AI推断加速,其底层是业界主流的框架,包括TensorFlow、Caffe、PyTorch,此外还包括37个开源的模型,这些模型主要针对诸如智慧城市、智能驾驶、实施目标分析跟踪等市场主流应用,开发者可以直接取用模型进行开发,无需了解FPGA等底层硬件。Vitis AI的开发套件包括:AI优化器(AI Optimizer)、AI量化器(AI Quantizer)、AI编译器(AI Compiler)、AI分析器(AI Profiler

在生态系统建设上,通过合作伙伴计划,Xilinx建立了完善而庞大的生态系统。所有合作伙伴可在Xilinx.com上推广企业以及经过验证的解决方案,Xilinx则为合作伙伴提供开发工具,以提升生产力和解决方案开发能力。而这些生态系统合作伙伴提供的解决方案,可帮助系统设计者快速整合Xilinx FPGA、SoC、3DIC、IP和软件定义解决方案。

从以上这些芯片厂商的系列举措中我们不难看出,提供一个软硬兼修、方案生态齐全的边缘AI平台,已经是行业实力玩家的一致选择。不夸张地讲,未来的边缘AI领域将是一个“平台为王”的时代。随着这些平台资源的不断完善,边缘AI的开发之旅也会变得更加顺畅和愉悦。现在是时候,考虑在下一个Design-In中,引入边缘AI了!


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !