GPU的巨大压力即将到来

GPU涨的不仅是价格。

今年以来，直线上升的AIGC市场带热了GPU。TrendForce集邦咨询表示，2023年AI服务器出货量（包含搭载GPU、FPGA、ASIC等）出货量预估近120万台，年增率近38%，AI芯片出货量同步看涨，可望成长突破五成。

然而，供应短时间难以跟上需求的爆发。“一切都在等英伟达”，李平是某AI公司高管，他向记者透露，其公司在4月下单了服务器产品，但是因为服务器公司的GPU尚未到货，至今没有准确交货期，“现在再签服务器合同都是没有违约条款，不签货期的，只能选择等或者直接取消订单”。

对 GPU 硬件或更好的加速器的需求从未如此之大，如果这种趋势持续下去，当前的高需求可能会延续到不久的将来。就HPC领域而言，这一趋势表明 GPU 未来将会变得昂贵且难以找到，除非是购买的数量足以直接向供应商购买。 

GPU非常适合加速矩阵运算，通常这也是许多 HPC 应用程序的核心。它们提供 SIMD（单指令多数据）处理单元，可以加速复杂的并行数组操作。正如人们经常指出的那样，HPCGPU 市场在一定程度上要归功于规模大得多（约 7 倍）的游戏市场，它帮助支付了硬件成本，让游戏玩家能够飞越星系，同时允许科学家模拟星系。 

加密货币市场改变了这种低端动态。就加密货币而言，游戏 GPU 非常擅长快速查找唯一数字并产生热量。市场需求相当高，但由于加密市场的不断发展，需求似乎正在下降。

在高端市场，情况就完全不同了。根据雅虎财经的一篇文章，Reports Insights 的一份报告预测：“受图形处理器 (GPU) 科学模拟、数据分析和人工智能需求不断增长的推动，全球图形处理器 (GPU) 市场预计在 2022 年至2030 年期间复合年增长率为 33.5%。”

然而，对于 GPU 市场供应商来说，这是个好消息，对于最终用户来说，LLM（大型语言模型，如 ChatGPT）的增长创造了对 GPU 的新需求，而严格意义上来说，GPU 并不属于传统 HPC 市场的一部分。

以 Inflection AI 为例，该公司正在开发一种名为“Pi”的“个人人工智能”聊天机器人。为了实现这一目标，该公司建造了一台配备 22,000 个英伟达 H100 GPU 的超级计算机。为了提供一些背景信息，Frontier 是 6 月 23 日 TOP500 列表中排名第一的系统，拥有37,632 个 GPU。 

Inflection AI 的情况并非独一无二。SemiAnalysis报告的另外两个数据点也支持同样的趋势。

“即使 OpenAI 也无法获得足够的 GPU，这严重阻碍了其近期路线图。由于 GPU 短缺，OpenAI 无法部署其多模态模型。“ 

 正在寻找 FLOPS？

幸运的是，GPU 对于 HPC 来说并不是必需的。然而，最新的 TOP500 系统统计表明，37% 的机器使用 GPU。这个数字正在增加，并且随着系统进入 exaFLOPS 领域，加速器的使用将继续。

如前所述，GPU 不是必需的，但对于许多 HPC 应用程序来说通常是可取的。由于生成式 AI 行业爆炸式增长的巨大需求，许多 HPC 现场采购和/或云场景的担忧是GPU 的全面可用性（短缺）。“任何 GPU”（英伟达、AMD 或英特尔）的高市场需求可能会促使 HPC 从业者考虑仅使用 CPU 的解决方案来帮助加速其代码（例如，众核、AVX-512、HBM、3D V-Cache 等） 。

对“GPU 周期”的搜索也可能会带来一些新颖的方法。回想一下，HPC 中的一些原始 GPU 应用程序始于标准 GPU 卡和一种名为“Brook ”的新语言，该语言是 CUDA 的前身，并在第一段中提到的一些早期 GPU 卡上运行。一开始，这种方法似乎有点“尴尬”，但速度的提高是不容忽视的，结果重塑了 HPC 领域。 

最近，一个有趣的消息是，最新版本的 AMD ROCm GPU 库(V5.6) 提供了对移动和桌面级 iGPU（集成 GPU）的支持。 在LinkedIn 上的一篇简短帖子中，HPC 专家 JamesCuff 能够使用 Ryzen 9 6900HX 桌面处理器在CPU 和 CPU/iGPU 上运行 TensorFlow 基准测试。同样的基准测试在 CPU 上运行需要 13 秒，在CPU/iGPU 组合上运行需要 3 秒。当然，还需要更多的测试，但正如对 FLOPS 的搜索将目光转向了早期基于 GPU 的显卡一样，寻找内部 GPU 可能会为 HPC 组合添加一些未使用和可用的 FLOPS。GPU 的巨大压力已经到来。    

审核编辑：刘清