高通在AI领域的布局，骁龙 8 Gen 2支持Transformer大模型！

电子发烧友网报道（文/李弯弯）前不久，在2022骁龙技术峰会上，高通正式发布了全新一代旗舰移动平台骁龙 8 Gen 2。骁龙 8 Gen 2搭载一颗专门面向AI计算的Hexagon处理器，在手机AI加速计算、计算式摄影、手游光线追踪、5G双卡双通方面均较上一代有较大突破。
 
高通高级副总裁兼手机业务总经理Christopher Patrick在峰会上表示，“我们把人工智能作为设计第二代骁龙8的关键技术。”
 
骁龙 8 Gen 2的AI技术体现在哪些方面
 
骁龙8 Gen 2搭载的Hexagon处理器，之前是用来命名骁龙芯片内部DSP的，它在此之前更像是协处理器。如今Hexagon已经进化为专用的AI加速计算芯片，具有专门为其供电的系统，内置Tensor、Scalar加速器、HVX矢量扩展处理器，支持Micro Tile Inferencing等技术。
 
据介绍，骁龙8 Gen 2这次的Hexagon处理器具备INT4精度AI计算的能力。这让骁龙8 Gen 2成为世界上第一颗，也是目前已知的唯一一颗支持INT4精度AI计算的移动平台处理器。

INT4是一种更新、近年来多受关注的AI计算精度模式，和之前经常被提起的浮点计算精度模式相比起来，INT4能够让模型占用空间显著缩小，从而可以在计算/能耗资源更为有限的移动平台上，保存和运行更多和更大的预训练神经网络模型。
 
根据高通的表述，支持了INT4之后，开发者可以让骁龙8 Gen 2来跑超大规模的神经网络，比如Transformer。在此之前没有已知的移动平台具有本地运行Transformer类预训练模型的能力，而骁龙8 Gen 2也成为了第一颗支持Transformer大模型的移动处理器。

通过支持INT4精度计算，Hexagon处理器还可以更加有效地替代GPU和CPU，在运行各种AI计算任务时显著降低能耗。在持续AI推理计算任务上，骁龙8 Gen 2相比8 Gen 1的性能提升最高可达4.35倍，每瓦性能提升程度高达60%。
 
Christopher Patrick在讲解中表示，在Hexagon处理器和Qualcomm Spectra ISP之间，还增加了一个名为“Hexagon直连”的物理连接，以此打造了移动行业首创的“认知ISP”。
 
“认知ISP”应用在影像处理过程中，通过实时语义分割实现照片和视频的自动增强，利用AI神经网络让摄像头在情境中感知人脸、面部特征、头发、衣服和天空等，进行独立优化，从而让每个细节获得定制的专业图像调优。而之前由于AI性能较弱，用户在拍摄完照片之后通常需要一段处理时间，手机才会显示成片。
 
在AI性能提升的情况下，骁龙8 Gen 2也带来了实时硬件加速光线追踪。高通技术人士表示，硬件光追可以做到每秒数百亿次光线相交，对光线、反射、照明等处理会更加真实。在网络连接方面，5G芯片中植入了AI功能，可以改善网络中的时延、网速、覆盖不到位等问题。
 
高通软硬件布局，应对终端AI落地挑战
 
如今AI几乎渗透进各行各业，终端应用场景丰富，这也造成终端AI在落地上面临挑战。包括：不同终端产品对性能和功耗需求不同；各类终端产品所需的深度学习架构和算子也差异巨大，比如智能手机需要使用生成模型、计算领域要用到Transformer模型，汽车ADAS则需要激光雷达模型；各类终端产品对AI特性的需求也不尽相同，比如汽车和XR需要支持更多的并发场景。
 
为了应对这些挑战，从硬件层面，高通推出的AI解决方案已经实现从500毫瓦到15瓦的性能水平扩展，甚至可以满足200瓦的性能水平。
 
另外为了解决不同场景对AI能力需求的差异，高通在Hexagon处理器中打造了高度可配置的硬件解决方案，使高通能够将AI解决方案从智能手机扩展到更多业务线。比如面向汽车、云端等高性能场景，高通可以调整Hexagon处理器内的加速器和内存组件，还可以拼接多个Hexagon处理器，通过更多Hexagon处理器协同工作实现性能的拓展提升。
 
在AI软件层面，高通也做了深入布局。今年6月，高通宣布推出AI软件栈产品组合，以提升高通在AI和智能网联边缘领域的领先优势。高通AI软件栈是面向OEM厂商和开发者的一套完整的AI解决方案，集合了高通各种AI软件产品并进行了升级，通过丰富的AI软件权限和兼容性能够支持各种智能终端。
 
高通AI软件栈支持包括TensorFlow、PyTorch和ONNX在内的不同AI框架与主流runtimes，以及开发者库与服务、系统软件、工具和编译器，从而使任何面向单一终端开发的AI特性都可在其他终端上轻松部署。高通AI软件栈产品组合还支持一系列工具套件，包括高通AI模型增效工具包（AIMET）、AI开发图形用户界面（GUI）、用于增强量化与优化的模型分析器以及神经网络架构搜索（NAS）。
 
小结
 
如今AI的发展势头迅猛，各家芯片厂商都布局其中，包括英伟达、英特尔等。高通在该领域也已经布局许久，近些年更是加大了在该领域的投入。因为本身应用场景多样的特性，终端AI在落地应用上一直存在挑战，可以看到高通正在从软硬件各方面解决这些业界难题。