英伟达全球首发HBM3e 专为生成式AI时代打造

描述

  2023年8月8日,NVIDIA创始人兼CEO黄仁勋在计算机图形年会SIGGRAPH上发布了HBM3e内存新一代GH200 Grace Hopper超级芯片。这款芯片被黄仁勋称为“加速计算和生成式AI时代的处理器”,旨在用于任何大型语言模型,以降低推理成本。

  与今年5月发布的GH200不同,新一代GH200芯片搭载了全球首款HBM3e内存,内存容量和带宽都有显著提高,专为加速计算和生成式AI时代而设计。

  新版GH200芯片平台基于72核Grace CPU,配备480GB ECC LPDDR5X内存以及GH100计算GPU。此外,它还搭配着141GB的HBM3e内存,分为六个24GB的堆栈,并采用了6,144位的内存接口。尽管实际上NVIDIA安装了144GB的内存,但可用的内存容量为141GB。

  借助全球最快的HBM3e内存,这款芯片的内存容量高达141GB,带宽每秒可达到5TB。每个GPU的容量比NVIDIA H100 GPU多出1.7倍,带宽比H100高1.55倍。

  NVIDIA强调,新版GH200 Grace Hopper芯片使用了与原版相同的Grace CPU和GH100 GPU芯片,因此无需推出新的软件版本或步进。原版GH200和升级版GH200将共存于市场,后者将以更高的价格销售,因为它具备更先进的内存技术带来的更高性能。

  NVIDIA表示,新版GH200旨在处理世界上最复杂的生成式AI工作负载,包括大型语言模型、推荐系统和矢量数据库,并将提供多种配置。预计新版GH200将于2024年第二季度投产。

  编辑:黄飞

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分