混合AI：边云协同在AI大模型时代的新篇章

作者：邵文简 博士

英特尔网络与边缘事业部首席工程师

 

今天，AI已成为最为热门的技术话题。AI处理的数据来自于我们生活的城市中的方方面面，例如：居住的社区，工作的园区，购物的商场，出行的车站，机场，港口等。

通过无所不在的网络接入，在On-prem Edge，Network Edge到Cloud的端，边，云架构中无缝地流动。同时，云化的计算架构使得计算可以自由地在端，边缘和云端部署和调度，并且对客户提供了一致的使用体验。

正是基于先进的网络架构和计算架构，AI在每一个数据节点都发挥着越来越重要的作用。并根据行业客户对业务时延、成本、隐私及安全等方面的要求，在边缘和云端进行优化部署。

AI作为边缘端最广泛的工作负载，目前的一个发展趋势是Hybrid AI（混合AI）。也就是云和边缘高效协同实现AI，云端完成模型训练及延时要求较低的推理，在前端边缘设备上实现客户推理。

在边缘人工智能领域，英特尔提供全系的硬件方案：在芯片上有凌动，酷睿 到至强 的CPU，集成显卡和ARC 独立显卡；在方案上有边缘人工智能盒子Edge AI Box，边缘人工智能服务器Edge AI Server等。

在软件上有Hybrid AI运行时OpenVINO，同时英特尔还与OpenYurt、EdgeX Foundry等头部开源项目合作，构建云边协同基础方案。

审核编辑：黄飞