把Transformer大模型部署在端侧,IPC SoC正在普惠AI

电子说

1.3w人已加入

描述

电子发烧友网报道(文/黄晶晶)AI大模型袭卷而来,而如何让终端产品插上AI的翅膀会是芯片厂商研发的方向和市场的机会。如今网络摄像机作为智慧城市、智能家居等应用的主流终端发展迅速,IPC SoC芯片是其核心之一。最近爱芯元智带来的两款IPC SoC新品在黑光全彩处理、适配Transformer大模型等方面表现十分亮眼,爱芯元智副总裁史欣也向媒体分享了公司对IPC SoC高清化、智能化发展的洞察。
 

两款IPC SoC:AX630C和AX620Q

 
爱芯元智
 
爱芯元智带来的两款新产品AX630C和AX620Q都搭载了最新的爱芯智眸AI-ISP4.0图像处理引擎以及爱芯通元4.0高性能、低功耗的NPU引擎。这些技术的升级使得这两款产品在视频图像效果、智能业务处理和分析等方面均达到了业界的领先水平。
 
爱芯智眸AI-ISP4.0对HDR、去噪、demosaic、锐化、去雾等算法做了升级,在暗光下的噪声处理、色彩还原、运动拖影、清晰度等方面较上一代产品更优秀,通过AI赋能ISP Pipeline里的关键模块,在各种复杂应用场景中全面提升成像效果,为后期智能处理提供高质量的图像、视频素材。
 
爱芯通元混合精度NPU则通过减少数据搬运,在一定程度上减小了内存墙和功耗墙的阻碍,提高整个NPU的效率,从而在端侧边缘侧面积、功耗受限的情况下,以更高的有效算力支持更多的智能算法。
 
爱芯元智的“真黑光”技术,则是通过爱芯智眸AI-ISP将画面真实还原,后续再通过NPU进行优化,进行更加准确的图像处理,在极低照度下获得超越人眼所见的黑光全彩效果。
 
AX630C具有高算力的特征,其CPU采用双核A53@1.2G,配合3.2T@INT8的NPU以及硬化的CV算子模块,可以对4K图像进行实时的智能处理,提高客户智能算法处理的精度和性能。同时,AX630C新一代的NPU引擎支持主流的Transformer网络如ViT/DeiT/Swin/SwinV2/DETR等,可以解决训练数据集不足引起的算法精度下降,以及长尾场景下算法的泛化性问题。
 
据介绍,AX630C是爱芯元智面向智慧城市行业前端IPC市场推出的超高清智能SoC,可支持4K@30fps实时真黑光;AX620Q是爱芯元智面向模组与渠道行业前端IPC市场推出的高清智能SoC,可支持5Mp实时、4K非实时的真黑光。
 
从细节上看,为了实现黑光全彩的效果,爱芯智眸AI-ISP4.0集中对四个关键模块进行了算法升级。史欣分析,传统ISP由十几个模块组成,在算力足够大的时候若不考虑成本可以用AI模型去增加每一个模块。而爱芯元智结合了客户的痛点需求和成本因素,对pipeline模块中HDR、3DNR、RLTM、Demosaic等进行了增强,达到了色彩饱和度高、运动图像无拖尾,以及噪声、锐化、清晰度等效果的显著提高。后续,爱芯元智还将针对防抖、3A等模块进行优化。
 
这其中的另一个问题是AI的算力消耗,本质上来说尽可能将模块的精确度提高就能更少的消费算力。史欣举例说,例如做人脸处理是对整个区域或者部分区域做降噪,消费的算力不一样。原来在400万分辨率的情况下需要1T做整个AI-ISP的处理,现在爱芯元智的第三、四代产品已经降到了0.6甚至0.5T,接下来可以做到0.2T就可以完成3DNR降噪的算力消耗,既能降低芯片成本,又可以留出更多的算力让客户开发更多可能。
 

Transformer在智慧城市中的应用

 
“Transformer应用的一个典型场景是对信息特征的检索,从最早期的后端处理、服务器处理,算法上云,到目前开始进入算法在边缘侧的部署等等,但始终没有解决端侧部署的问题。大的厂商能够根据行业应用来适配模型大小,而Transformer兴起之后将带来更多具象化的信息,使得检索更容易、并缩减检索的时间。”史欣说道。
 
爱芯元智能够帮助客户把在服务器、云端训练好的算法在裁剪之后在端侧部署。这里既有部署性包括带宽、功耗、成本等的考虑,也有精度的要求。爱芯元智通过几年来在NPU和算法工具链的迭代,IPC SoC能够支持算法的快速部署、保证精度,具备端侧部署的软硬件条件。
 
爱芯元智

不仅是Transformer大模型,爱芯元智还在适配国内的DINOv2大模型,爱芯元智依托硬件NPU、软件算法等技术并与合作伙伴共同推出算法部署国产化。
 

普惠AI

 
我们看到爱芯元智有一个非常明确的发展理念,即是普惠AI。AI不应只在云端,更应该让消费、智慧城市、汽车等各个行业受惠。史欣谈到,客户希望能够从To G或者To大B的业务部署向To小B,甚至To C的业务上进行部署。即便是家用摄像头这个普及型消费电子产品,也需要AI-ISP加持,那么更需要像爱芯元智这样具备软硬件能力的厂商通过产品技术、性价比等去拥抱市场。
 
对于AI芯片的发展趋势,史总给出预判,他认为端侧AI的小型化将越来越多的落地,同时其性能要有前瞻性和较高的性价比。同时产品的易用性加强,芯片厂商的方案交付要更简单。同时除了自身掌握关键技术之外,也需要生态合作伙伴做更丰富的算法和软件,如此才能加快AI的普惠化,助力智能化产业升级。
 
 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分