训练大模型,英伟达GPU不再是唯一选项。
7月11日,英特尔在北京举办AI产品战略暨Gaudi2新品发布会,正式于中国市场推出第二代深度学习加速器——Habana Gaudi2。
Habana是成立于2016年的AI芯片厂商,总部位于以色列,为数据中心提供可编程深度学习加速器。Habana在2019年推出了第一代Gaudi芯片,并在这一年12月被其早期投资人英特尔收购。
其实在2022年5月,英特尔已经发布过Gaudi2。而这一次在北京的产品发布,是面向中国市场的“定制版”,类似英伟达推出A100与H100的定制版A800与H800。
英特尔执行副总裁兼数据中心与人工智能事业部总经理Sandra Rivera强调,Gaudi2是完全合法合规的。
在性能方面,这款中国定制版训练最主要的性能裁剪在于网络端口。Gaudi2有21个百兆端口,而国际版有24个。不过,英特尔Habana Labs首席运营官Eitan Medina表示,“从客户使用情况来看,预计影响会非常小”。
Gaudi2的推出,为训练大模型提供了英伟达之外的替代方案。在此之前,英伟达的GPU芯片——A100与H100,几乎垄断了训练大模型的市场。供需的极度不平衡也让GPU一芯难求。
相比英伟达GPU,Gaudi2最显著的优势在于“更高的性价比”。英特尔表示,将致力于为中国用户提供更高的深度学习性能和效率,从而成为大规模部署AI的更优解。
目前,英特尔正与浪潮信息合作,打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器。此外,新华三与超聚变也是英特尔的合作伙伴。
1.用性价比挑战英伟达
目前,业内普遍认为生成式AI和大语言模型仅适宜在GPU上运行。但英特尔Gaudi2正在向英伟达发起挑战。
Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B,以第一代Gaudi高性能架构为基础,采用了台积电7nm工艺,专为训练大语言模型而构建。该加速器具备:
24个可编程Tensor处理器核心(TPCs)
21个100 Gbps(RoCEv2)以太网接口
96GB HBM2E内存容量
2.4TB/秒的总内存带宽
48MB片上SRAM
集成多媒体处理引擎
Gaudi2真实性能表现如何?在发布会现场,英特尔多次与英伟达进行参数对比。
在6月公布的MLCommons MLPerf基准测试(被普遍认为是最具信服力的AI性能测试基准)结果中,Gaudi2在GPT-3模型、计算机视觉模型ResNet-50(使用8个加速器)、Unet3D(使用8个加速器),以及自然语言处理模型BERT(使用8个和64个加速器)上均取得了比A100更优异的结果,但还弱于H100。
不仅如此,Gaudi2在性价比上更具优势。
在MLCommons刚刚公布的MLPerf训练3.0结果中,Gaudi2在1750亿参数的GPT-3模型上,从256个加速器到384个加速器可实现接近线性的95%扩展效果。
英特尔表示,Gaudi2的每瓦性能大约是A100的两倍。而随着性能的进一步优化,英特尔预计在今年9月,Gaudi2的性价比将会超过H100。
值得一提的是,Gaudi2是仅有的两个向GPT-3大模型训练基准提交性能结果的解决方案之一。
英特尔Habana Labs首席运营官Eitan Medina强调:“这说明了其他半导体厂商还无法构建针对GPT-3的解决方案”。
除了模型的训练,还需要模型的推理。Gaudi2可为大规模的多模态和语言模型提供出色的推理性能。
在最近的Hugging Face评估中,Gaudi2在大规模推理方面的表现,包括在运行Stable Diffusion、70亿以及1760亿参数BLOOMz模型时,都在行业内保持领先。
其中,与英伟达A100相比,Stable Diffusion推理时延降低2.21倍。
值得一提的是,下一代Gaudi3预计在明年推出,采用台积电5nm工艺。
2.英特尔的AI战略
英特尔拥有庞大丰富的产品线,Gaudi2并非唯一的AI产品。
针对AI在不同场景、不同环节的异构计算需求,英特尔将其产品线分为通用计算与加速计算。
其中,英特尔的CPU产品,第四代至强处理器解决通用计算,满足客户在大部分模型较小场景的AI推理需求;Gaudi2解决加速计算,解决大模型的训练及推理需求。
在通用计算层面,第四代英特尔至强可扩展处理器(英特尔AMX)为广泛的AI负载和用例提供10倍的推理和训练性能以及代际性能提升,同时每瓦性能比也比前代提高7.7倍。
在6月底公布的MLPerf训练3.0结果表明,第四代至强可扩展处理器为企业提供了“开箱即用”的功能,可以在通用系统上部署AI,避免了引入专用AI系统的高昂成本和复杂性。
第四代至强可扩展处理器也能够支持Stable Diffusion。英伟达DGX H100系统也会选择搭配英特尔CPU,从而为企业级AI提供高速、高能效并节省成本。
百度、美团是英特尔AMX的客户。英特尔AMX助力百度文心一言轻量版ERNIE-Tiny性能提升2.66倍,助力美团加速视觉AI推理服务,成本降低80%。
值得一提的是,在加速计算层面,英特尔除了推出人工智能专用芯片Gaudi2之外,也在2022年推出了面向数据中心的的GPU Max系列(代号为Ponte Vecchio)。两款产品在AI计算层面存在一定的重合度。
对此,英特尔透露会在2025年把Gaudi产品线与GPU产品线整合为统一架构的新产品,并带来更好的软件适配能力与AI处理能力。
此外,正如英伟达依靠CUDA构建护城河,英特尔也在加强软件开发生态的支持。
英特尔推出的软件套件针对Gaudi平台深度学习业务进行了优化,集成了对TensorFlow和PyTorch框架的支持,并面向400多个机器学习和深度学习AI模型进行验证,涵盖每个业务领域使用的最常见AI用例。
总结来看,英特尔正在通过异构产品组合、开放式的软件栈以及用于大模型训练的Gaudi2集群,来降低人工智能的准入门槛,来满足庞大的市场需求。
芯片是大模型训练及推理的基础设施,也是这场大模型淘金热必不可少的“铲子”。如今,随着主流半导体巨头纷纷布局,这场大模型的芯片战已经彻底打响了。
全部0条评论
快来发表一下你的评论吧 !