在数字化转型和智能化升级的大背景下,数据的处理和计算能力的部署正逐渐向网络边缘和设备边缘转移。这种转变不仅能够显著降低应用的响应延迟,确保数据安全,还能够减少对集中式云服务和核心网络的依赖,同时提升对多样化应用场景的适应性和服务能力。随着大模型和人工智能领域的快速发展,算力需求将愈发成为制约企业转型、成长的因素。
从边缘计算向边缘智算迈进
随着边缘计算逐步进入稳健发展期,使用单一边缘计算技术构建的应用难以充分发挥其价值。2023年,大模型的突破和生成式 AI 的兴起,带来了新的技术发展转折点,重塑算力格局。边缘计算与 AI 的结合尤为亮眼,带来了各种本地化的智能边缘应用,如智慧交通、智能制造和智慧零售等。
为满足大模型在行业和企业的落地,基础大模型会结合行业独有的知识、流程和数据资源,弥合技术与需求间的差距,进一步分化为行业大模型或企业大模型。在生成式 AI 的驱动力下,边缘计算加速向边缘智算迈进,边缘智算承载行业/企业大模型,满足无处不在的智能化需求,为数字化转型与智能化升级提供强大的技术支撑。不仅可以保证私有数据的调用安全,降低云端微调或推理的成本,还可以降低网络延时,满足用户个性化的表达需求,助力落地“人工智能+”的最后一公里。
大模型时代
边缘智算面临的挑战
大模型工作负载主要分成两类:训练和推理。其中,训练的工作负载用于训练人工智能模型,如 GPT4、LLM,推理的工作负载用于接受用户的输入,产生对应的输出。
相对来说,训练所需的算力资源远远高于推理,因此对应的算力资源需求也有所差异。在这个背景下,企业在边缘使用大模型通常会遇到以下挑战:算力需求多元、算力成本需不断优化、部署环境较为苛刻和计算架构多样且管理复杂。
基于英特尔 至强 可扩展处理器的
边缘服务器
为了有效应对大模型时代边缘智算的挑战,浪潮信息构建了全栈的边缘计算产品家族,包括四大硬件产品系列、支撑边缘海量设备终端的三大管理软件,以及边缘 AI、云边协同等多种解决方案。搭载第五代英特尔 至强 可扩展处理器的2U元脑 边缘服务器 NE5260G7 和 1U元脑 边缘服务器 NE3160G7,融合了英特尔最新的处理器技术,支持多种加速算力选项。不仅提供了卓越的计算性能和能效,还具备强大的 AI 推理能力,支持国内主流大模型及行业大模型应用。
基于第五代英特尔 至强 可扩展处理器的元脑 边缘服务器 NE5260G7,是浪潮信息推出的旗舰 2U 双路边缘服务器,同时搭载面向边缘的英特尔锐炫 GPU,提供了强大的大模型适配能力:
英特尔锐炫 GPU:基于Xᵉ HPG 微架构构建,包括 16GB 的大显存以及称为英特尔 Xᵉ Matrix Extensions(英特尔 XMX)的专用 AI 加速硬件,这些内核专门用于 AI 工作负载中常用的矩阵运算,包括深度学习和大模型推理任务。
开放标准软件堆栈:基于英特尔的开源 OpenVINO 工具套件,开发者可以轻松编写能在 GPU、CPU 及其他硬件加速器上运行的代码,避免了供应商锁定和潜在的断供风险。
全面的大模型支持:无论是国内还是国外的主流大模型,NE5260G7 都能提供完善的训练和推理支持,满足不同行业对于大模型应用的需求。
元脑 NE5260G7 支持高达近百 TB 的存储容量,还可支持多种无线模组灵活接入,无论是面向 AI 算力、大模型应用场景还是存储场景,都能提供灵活的解决方案。
元脑 NE3160G7 则是针对小基站场景推出的解决方案,单机可处理128路摄像头接入数据,灵活应对货架缺货量分析、商品智能结算、客流量统计等各类 AI 推理任务。支持灵活的网络和 AI 加速卡扩展、适应恶劣的边缘环境,支持1588、GPS、级联3类时钟同步通信,保证海量数据处理准确无误,可以稳定用于智能基站、边缘轻量化推理等场景。
同时,两款产品均遵循最新的开放计算 OTII (Open Telecom IT Infrastructure) 标准,设计紧凑,适应性强,能够轻松适应各种边缘环境。目前的应用场景/实例有:
大模型推理
智能电网调度
智能AGV/AMR调度
智慧交通
智慧物流
小基站
结语
边缘向 AI 而行,边缘智算将无处不在。边缘智算作为新一代计算模式与智能化服务的重要载体,正引领着数字化转型与智能化升级的新潮流。生成式AI与边缘计算的融合正在激发全行业数智化创新,英特尔将AI能力融入所有软硬件产品与方案,力求云、网、边、端每个触点支持AI应用,满足客户应用场景多元复杂、数据多样化、算力性能等挑战。
英特尔将与浪潮信息等生态伙伴携手共进,共同推动边缘智算技术的创新与发展,为构建更加智慧、高效、可持续的未来世界贡献力量。
全部0条评论
快来发表一下你的评论吧 !