AI边缘计算机应用场景广泛！大语言模型与数字人结合方案在边缘侧落地

电子发烧友网报道（文/李弯弯）AI边缘计算机是一种人工智能和边缘计算技术相结合的计算机设备。它可以在本地设备上运行AI模型，实现对设备数据的实时分析和响应，从而减少数据传输到云端的延迟和成本。
 
当下，AI在边缘侧的部署正在成为趋势，包括近年来备受瞩目的大语言模型，在边缘侧的应用也是业界探索的焦点，AI边缘计算机在这中间扮演着重要角色。为此，电子发烧友近日采访到图为科技华东区域经理吴朗，探讨了AI边缘计算机的应用现状及前景等话题。
 
AI边缘计算机应用场景多样，前景好
 
AI边缘计算机由处理器、存储器、输入/输出接口、电源、散热系统、嵌入式操作系统、AI模型和算法等结构组成。处理器是AI边缘计算机的核心部分，负责执行指令和处理数据。
AI边缘计算机的核心是AI模型和算法，用于实现各种智能化的应用。
 
图为科技是一家AI边缘计算设备运营服务商，专注边缘计算设备的研发、生产、销售、运维等工作。其基于NVIDIA Jetson系列核心模块所设计的AI边缘计算盒子，已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。
 
吴朗告诉电子发烧友：“图为科技的AI边缘计算设备主要是基于ARM架构的方案。其中，大多是基于英伟达 Jetson系列核心模块设计，也有少数基于华为昇腾和瑞芯微的方案。”图为科技的边缘计算机涵盖了从最低0.5TOPS算力到最高275TOPS算力的各种产品，能满足多场景不同算力的需求，便于客户拓展AI方案及部署工作。
 
据他介绍，AI边缘计算机的应用非常广泛，目前在安防领域应用最多，另外，在医疗、车载、交通等领域也有非常多很好的应用场景。比如在医疗领域的影像分析，他们之前有个做眼睛诊疗仪的客户，就需要用到这种AI边缘计算盒子，通过深度学习算法，来辅助拍摄一些图像做实时分析。
 
在车载领域，目前图为科技的产品可以用于低速无人驾驶，比如，无人清扫车、园区接驳车、各种巡检小车等。吴朗介绍说：“这种AI边缘计算盒子在车载、交通领域的应用场景很多，现在智慧交通是趋势，车路协同、全息路口以及高速上一些车联网场景都用得上。”
 
不过不同场景技术路线不一样，对设备的要求也有所不同。比如，安防领域主要需要的是视频分析，基本上是纯视觉。而车载领域，有视觉也有雷视融合，包括激光雷达、毫米波雷达、超声波雷达等。它们需要的算力、资源、软硬件平台等都不一样。一般而言，安防场景的算力需求很多在20到30TOPS，而车载场景很多时候需要100TOPS，甚至200TOPS以上。
 
在车载场景，英伟达的Jetson系列会更有优势，无论是算力还是生态上。英伟达的模块算力会更高，而且它跟上下游厂商的配套更多，比如跟奥比中光、森云智能等厂商的相机产品都有适配。因此，图为科技基于英伟达 Jetson系列的设备能够满足更多场景的不同需求。
 
在吴朗看来，AI计算边缘盒子可以应用的行业和形态很多，市场整体体量很大。不过相比较而言，目前基于X86架构的设备存在的时间比较久，应用也比较多。基于Arm架构这种方式的AI边缘计算机近几年才开始火起来，目前体量不是很大，不过前景会非常好。
 
大模型与数字人结合在医疗领域成功落地
 
近年来，大模型技术的研究进展备受关注，同时，业界也在积极探索大语言模型在边缘侧的部署。图为科技在这方面也有研究，并已经有方案成功交付。
 
据吴朗介绍，图为科技有好几款大模型一体机，算力包括40TOPS、100TOPS和200TOPS，这些一体机可以运行70亿和130亿参数规模的大模型。图为科技可以用百川智能、智谱AI、通亿千问等的开源大模型，自己进行移植适配。
 
目前图为科技正在推进的大模型一体机应用项目很多，其在某医院的应用方案已经成功交付。这是一个什么样的场景呢？吴朗介绍说，因为就诊的人数比较多，这家医院妇产科门诊接诊压力比较大，他们希望通过AI做一个预诊的方案。
 
图为科技将大模型一体机与数字人技术结合，做了一个交互式对话方案。这样，患者到医院之后，可以跟显示屏承载的数字人交互式对话，帮助医生过滤掉一些问题。
 
吴朗进一步介绍：“患者在妇产科需要询问的问题，基本上医院都有对应的数据。公司为其部署上AI大语言模型，基本上之后患者问什么问题，这个数字人都可以回答。回答完之后可以直接生成电子病历，提交给医生。这样可以大大提高效率。”
 
图为科技这个方案基于通义千问进行训练。去年8月，阿里宣布其自研的大模型通义千问正式开源。只要有数据集，企业基本上可以基于这些开源的大模型训练适合自己场景的大模型。
 
近几年，数字人的概念及应用也是异常火热，其中在直播领域的应用最多，另外医院、银行等也使用数字人来做虚拟客服。不过，虽然入局者众多、应用也不少，然而过往，数字人仍然存在表情僵硬、语言呆板、交互能力不强等问题。
 
2023年以来，大语言模型席卷全球，将大模型与数字人技术结合也成为不少企业争先探索的方向，接入大模型的数字人能够很好的改善之前数字人存在的问题。从图为科技这个案例来看，大模型接入数字人的应用也在逐步落地。
 
写在最后
 
无论是AI还是近年来兴起的大语言模型，如果要实现规模化商用，在边缘侧部署是关键。AI边缘计算机在这其中承载着极其重要的责任。同时，相比于传统X86架构，ARM架构具有低能耗、低成本、高性能等优势，如此看来基于ARM架构的AI边缘计算机前景可观。不过当前ARM架构也还面临移植适配、软件生态不够好等问题，后续发展仍需业界一起努力。