AI边缘计算机应用场景广泛!大语言模型与数字人结合方案在边缘侧落地

描述

电子发烧友网报道(文/李弯弯)AI边缘计算机是一种人工智能和边缘计算技术相结合的计算机设备。它可以在本地设备上运行AI模型,实现对设备数据的实时分析和响应,从而减少数据传输到云端的延迟和成本。
 
当下,AI在边缘侧的部署正在成为趋势,包括近年来备受瞩目的大语言模型,在边缘侧的应用也是业界探索的焦点,AI边缘计算机在这中间扮演着重要角色。为此,电子发烧友近日采访到图为科技华东区域经理吴朗,探讨了AI边缘计算机的应用现状及前景等话题。
 
AI边缘计算机应用场景多样,前景好
 
AI边缘计算机由处理器、存储器、输入/输出接口、电源、散热系统、嵌入式操作系统、AI模型和算法等结构组成。处理器是AI边缘计算机的核心部分,负责执行指令和处理数据。
AI边缘计算机的核心是AI模型和算法,用于实现各种智能化的应用。
 
图为科技是一家AI边缘计算设备运营服务商,专注边缘计算设备的研发、生产、销售、运维等工作。其基于NVIDIA Jetson系列核心模块所设计的AI边缘计算盒子,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能无人机、自动驾驶、智能安防等领域。
 
吴朗告诉电子发烧友:“图为科技的AI边缘计算设备主要是基于ARM架构的方案。其中,大多是基于英伟达 Jetson系列核心模块设计,也有少数基于华为昇腾和瑞芯微的方案。”图为科技的边缘计算机涵盖了从最低0.5TOPS算力到最高275TOPS算力的各种产品,能满足多场景不同算力的需求,便于客户拓展AI方案及部署工作。
 
据他介绍,AI边缘计算机的应用非常广泛,目前在安防领域应用最多,另外,在医疗、车载、交通等领域也有非常多很好的应用场景。比如在医疗领域的影像分析,他们之前有个做眼睛诊疗仪的客户,就需要用到这种AI边缘计算盒子,通过深度学习算法,来辅助拍摄一些图像做实时分析。
 
在车载领域,目前图为科技的产品可以用于低速无人驾驶,比如,无人清扫车、园区接驳车、各种巡检小车等。吴朗介绍说:“这种AI边缘计算盒子在车载、交通领域的应用场景很多,现在智慧交通是趋势,车路协同、全息路口以及高速上一些车联网场景都用得上。”
 
不过不同场景技术路线不一样,对设备的要求也有所不同。比如,安防领域主要需要的是视频分析,基本上是纯视觉。而车载领域,有视觉也有雷视融合,包括激光雷达、毫米波雷达、超声波雷达等。它们需要的算力、资源、软硬件平台等都不一样。一般而言,安防场景的算力需求很多在20到30TOPS,而车载场景很多时候需要100TOPS,甚至200TOPS以上。
 
在车载场景,英伟达的Jetson系列会更有优势,无论是算力还是生态上。英伟达的模块算力会更高,而且它跟上下游厂商的配套更多,比如跟奥比中光、森云智能等厂商的相机产品都有适配。因此,图为科技基于英伟达 Jetson系列的设备能够满足更多场景的不同需求。
 
在吴朗看来,AI计算边缘盒子可以应用的行业和形态很多,市场整体体量很大。不过相比较而言,目前基于X86架构的设备存在的时间比较久,应用也比较多。基于Arm架构这种方式的AI边缘计算机近几年才开始火起来,目前体量不是很大,不过前景会非常好。
 
大模型与数字人结合在医疗领域成功落地
 
近年来,大模型技术的研究进展备受关注,同时,业界也在积极探索大语言模型在边缘侧的部署。图为科技在这方面也有研究,并已经有方案成功交付。
 
据吴朗介绍,图为科技有好几款大模型一体机,算力包括40TOPS、100TOPS和200TOPS,这些一体机可以运行70亿和130亿参数规模的大模型。图为科技可以用百川智能、智谱AI、通亿千问等的开源大模型,自己进行移植适配。
 
目前图为科技正在推进的大模型一体机应用项目很多,其在某医院的应用方案已经成功交付。这是一个什么样的场景呢?吴朗介绍说,因为就诊的人数比较多,这家医院妇产科门诊接诊压力比较大,他们希望通过AI做一个预诊的方案。
 
图为科技将大模型一体机与数字人技术结合,做了一个交互式对话方案。这样,患者到医院之后,可以跟显示屏承载的数字人交互式对话,帮助医生过滤掉一些问题。
 
吴朗进一步介绍:“患者在妇产科需要询问的问题,基本上医院都有对应的数据。公司为其部署上AI大语言模型,基本上之后患者问什么问题,这个数字人都可以回答。回答完之后可以直接生成电子病历,提交给医生。这样可以大大提高效率。”
 
图为科技这个方案基于通义千问进行训练。去年8月,阿里宣布其自研的大模型通义千问正式开源。只要有数据集,企业基本上可以基于这些开源的大模型训练适合自己场景的大模型。
 
近几年,数字人的概念及应用也是异常火热,其中在直播领域的应用最多,另外医院、银行等也使用数字人来做虚拟客服。不过,虽然入局者众多、应用也不少,然而过往,数字人仍然存在表情僵硬、语言呆板、交互能力不强等问题。
 
2023年以来,大语言模型席卷全球,将大模型与数字人技术结合也成为不少企业争先探索的方向,接入大模型的数字人能够很好的改善之前数字人存在的问题。从图为科技这个案例来看,大模型接入数字人的应用也在逐步落地。
 
写在最后
 
无论是AI还是近年来兴起的大语言模型,如果要实现规模化商用,在边缘侧部署是关键。AI边缘计算机在这其中承载着极其重要的责任。同时,相比于传统X86架构,ARM架构具有低能耗、低成本、高性能等优势,如此看来基于ARM架构的AI边缘计算机前景可观。不过当前ARM架构也还面临移植适配、软件生态不够好等问题,后续发展仍需业界一起努力。
 
 
 
 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分