AI服务器异构计算深度解读

人工智能

623人已加入

描述

服务器随着场景需求经历通用服务器-云服务器-边缘服务器-AI服务器四种模式,AI服务器采用GPU增强其并行计算能力;AI服务器按应用场景可分为训练和推理,训练对芯片算力的要求更高,根据IDC,随着大模型的应用,2025年推理算力需求占比有望提升至60.8%;

AI服务器按芯片类型可分为CPU+GPU、CPU+FPGA、CPU+ASIC等组合形式,CPU+GPU是目前国内的主要选择(占比91.9%);AI服务器的成本主要来自CPU、GPU等芯片,占比25%-70%不等,对于训练型服务器其80%以上的成本来源于CPU和GPU。

据ARK Invest预测,Chat GPT-4参数量最高达15000亿个,由于参数量与算力需求间存在正比关系,所以可推算GPT-4算力需求最高达到31271 PFlop/s-day。随着国内外厂商加速布局千亿级参数量的大模型,训练需求有望进一步增长,叠加大模型落地应用带动推理需求高速增长,共同驱动算力革命并助推AI服务器市场及出货量高速增长。

美国对中国禁售英伟达高性能芯片A100和H100,英伟达特供中国的削弱互联带宽的版本A800或为当前可替代方案;

以海光信息、壁仞科技等为代表的国产GPU部分单卡指标接近英伟达,在推理场景中具有一定竞争力;国产AI服务器厂商全球份额超35%,浪潮信息位列榜首;国产AI服务器厂商各具优势,有望受到下游需求拉动。

本文来自“大模型算力:AI服务器行业(2023)”。关于CPU、服务器和存储详细技术,请参考“更新下载:存储系统基础知识全解(终极版)”、“存储芯片技术基础知识介绍(2023)”等等。

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

gpu

审核编辑:黄飞

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分