HBM高带宽内存是什么

　　HBM高带宽内存是什么

　　高带宽存储器（High Bandwidth Memory，HBM）是超微半导体和SK Hynix发起的一种基于3D堆栈工艺的高性能DRAM，适用于高存储器带宽需求的应用场合，像是图形处理器、网络交换及转发设备（如路由器、交换器）等。首个使用HBM的设备是AMD Radeon Fury系列显示核心。2013年10月HBM成为了JEDEC通过的工业标准，第二代HBM —— HBM2，也于2016年1月成为工业标准，NVIDIA在该年发表的新款旗舰型Tesla运算加速卡 —— Tesla P100、AMD的Radeon RX Vega系列、Intel的Knight Landing也采用了HBM2。

　　存储器是存储指令和数据的计算机部件。有多种类型。中央处理器从存储器中取出指令，按指令的地址从存储器中读出数据，执行指令的操作。存储容量和存储器读写数据周期是存储器的两个基本技术的指标。

　　高带宽存储器是一种CPU/GPU 内存芯片（即 “RAM”），其实就是将很多个DDR芯片堆叠在一起后和GPU封装在一起，实现大容量，高位宽的DDR组合阵列。HBM 堆栈没有以物理方式与 CPU 或 GPU 集成，而是通过中介层紧凑而快速地连接，HBM 具备的特性几乎和芯片集成的 RAM一样，因此，具有更高速，更高带宽。

　　高带宽存储器发展

　　第一，早期，AI处理器架构的探讨源于学术界的半导体和体系架构领域，此时模型层数较少，计算规模较小，算力较低。

　　第二，模型逐渐加深，对算力需求相应增加，导致了带宽瓶颈，即IO问题，此时可通过增大片内缓存、优化调度模型来增加数据复用率等方式解决

　　第三，云端AI处理需求多用户、高吞吐、低延迟、高密度部署。计算单元剧增使IO瓶颈愈加严重，要解决需要付出较高代价（如增加DDR接口通道数量、片内缓存容量、多芯片互联）

　　此时，片上HBM（High Bandwidth Memory，高带宽存储器）的出现使AI/深度学习完全放到片上成为可能，集成度提升的同时，使带宽不再受制于芯片引脚的互联数量，从而在一定程度上解决了IO瓶颈。