AI SoC必须考虑的关键因素“内存架构”

计算的转型在一定程度上是由于新型内存架构而成为可能的。

人工智能 (AI) 的快速发展正在影响着方方面面，从我们的驾驶方式到我们的业务决策和购物方式。在海量且不断增长的大数据的推动下，人工智能也导致计算需求激增。事实上，与上一代相比，最新的生成式 AI 模型需要将计算能力提高 10 至 100 倍来训练模型，即：反过来，总需求大约每六个月就会翻一番。 

正如您所期望的，这导致了计算转型，而这种转型在一定程度上是由于新型内存架构而成为可能的。这些先进的图形处理单元 (GPU) 架构为设计人员开辟了全新的可能性。关键是为手头的任务选择正确的内存架构，并为该架构部署正确的内存。

可以肯定的是，有一系列更有效的新兴存储器可用于特定任务。它们包括内存计算 SRAM (CIM)、STT-MRAM、SOT-MRAM、ReRAM、CB-RAM 和 PCM。虽然每个都有不同的属性，但作为一个集体单元，它们可以增强计算能力，同时提高能源效率并降低成本。这些是开发经济且可持续的人工智能 SoC 必须考虑的关键因素。

许多考虑因素会影响设计人员根据任何给定应用程序的优先级选择架构。其中包括吞吐量、模块化和可扩展性、热管理、速度、可靠性、与 CMOS 的处理兼容性、电力传输、成本以及模仿人类神经元的模拟行为的需求。

让我们来看看设计师目前可以使用的各种新兴存储的特征。

SRAM 和 ReRAM：内存计算两个极端之间的选择

静态随机存取存储器（Static Random-Access Memory，SRAM）是随机存取存储器的一种。所谓的“静态”，是指这种存储器只要保持通电，里面储存的数据就可以恒常保持。相对之下，动态随机存取存储器里面所储存的数据就需要周期性地更新。然而，当电力供应停止时，SRAM储存的数据还是会消失（被称为volatile memory），这与在断电后还能储存资料的ROM或闪存是不同的。

SRAM不需要刷新电路即能保存它内部存储的数据。而DRAM每隔一段时间，要刷新充电一次，否则内部的数据即会消失，因此SRAM具有较高的性能，但是SRAM也有它的缺点，即它的集成度较低，功耗较DRAM大，相同容量的DRAM内存可以设计为较小的体积，但是SRAM却需要很大的体积。同样面积的硅片可以做出更大容量的DRAM，因此SRAM显得更贵。

ReRAM代表电阻式RAM，将DRAM的读写速度与SSD的非易失性结合于一身。换句话说，关闭电源后存储器仍能记住数据。如果ReRAM有足够大的空间，一台配备ReRAM的PC将不需要载入时间。

对于高效的内存计算芯片，设计人员必须选择 SRAM 或 ReRAM，这两者在功耗和可扩展性方面是相反的。SRAM 建议用于小存储块和高速要求，但它也有一些缺点，例如面积大和功耗增加。对于内存需求较高的项目，ReRAM 因其密度而具有优势。ReRAM 还可以在需要时提供模拟行为的额外优势。需要明确的是，大多数（如果不是全部）新兴存储器都可以部署用于内存计算，但 SRAM 是性能的最佳选择，而 ReRAM 是密度和能源效率的最佳选择。

MRAM：低功耗革命

MRAM是一种非易失性的磁性随机存储器。它拥有静态随机存储器的高速读取写入能力，以及动态随机存储器的高集成度，而且基本上可以无限次地重复写入。

MRAM（特别是 STT-MRAM 和 SOT-MRAM）是一种与 CMOS 处理完全兼容的非易失性超低功耗存储器选项。MRAM 传统上速度慢且难以扩展，而 STT-MRAM 通过可变电流引发“自旋轨道扭矩”改变了游戏规则。STT-MRAM 提供低至 1ns 的快速写入时间，广泛应用于物联网应用。SOT-MRAM 是一种变体，可以在相同的功能下实现更快的读写速度（尽管这是以更大面积为代价的）。

共同的特点包括低泄漏、可扩展性、高保留时间和高耐用性，以及易于与 CMOS 集成。

PCM、ReRAM、CB-RAM：经济高效的存储和连接

相变存储器（Phase-Change Memory，PCM）是一种应用相变材料作为储存介质的存储器技术。相变材料在一个固相和一个液相之间转换状态。通过控制相变材料的固相和液相之间的相变过程，可以实现数据的存储和读取。PCM技术相比传统硬盘，具有更快速度、更低功耗和更小的尺寸等优势，成为非易失性存储技术领域的岛屿之一。

导电桥接随机存取内存(conductive-bridging RAM， CBRAM ）是一种低耗电、与CMOS兼容的内存，可定制应用在各类嵌入式市场和独立存储器市场。

这些存储器类型属于相变存储器的类别。它们是非易失性的，具有两种不同的低电阻和高电阻状态，具体取决于形成存储器的两个电极之间施加的电流方向。PCM、ReRAM 和 CB-RAM 等非易失性存储器非常适合存储视频、音频和图像等模拟数据，无需昂贵的数模转换器。另一个好处是训练神经网络，因为相变存储器增强了突触的连接性。所有这些都可以轻松地与 CMOS 和 3D 堆叠集成。ReRAM 交叉阵列最适合内存计算。CB-RAM 非常适合实现内存计算和神经网络的实现。

虽然没有一种内存类型是所有人工智能芯片的灵丹妙药，但每种内存类型在占用的空间、容量、保留时间、成本、堆叠能力、耐用性等方面都有其优势。每个内存挑战都可以通过多种方式解决，可以考虑使用不止一种合适的替代方案来满足相同的目标。设计人员需要权衡每种替代方案的利弊，包括对架构决策的进一步可扩展性影响。

神经形态计算与传统 SRAM

神经形态计算是从人脑的结构和动力学中获得灵感，从而创建了用于信息处理的节能硬件，使其能够执行高度复杂的任务。

神经形态计算包括神经网络的产生和使用。它从人脑中汲取灵感，旨在设计能够合并内存和处理能力的计算机芯片。在人脑中，神经突触提供对处理信息的神经元直接访问记忆的能力。

几十年来，电气工程师一直对生物物理学，神经计算以及对人工神经网络的实用混合信号电路的开发着迷。其中的挑战在于跨越了从电子设备到算法的广泛学科。神经形态系统的实际用途将会应用在我们的日常生活中，光是这一项就值得付出努力。

人工智能需要新的硬件，而不仅仅是新的算法。我们正处在一个转折点，摩尔定律接近尾声，导致我们的计算机性能停滞不前。与此同时，如今，我们正在生成越来越多的数据，它需要存储和分类。

上面讨论的新兴非易失性存储器代表了神经形态计算的基础，并适用于非冯诺依曼架构。尽管经典 SRAM 存储器具有令人兴奋的潜力，但它们仍然很重要。凭借无与伦比的延迟，SRAM 仍然是神经形态计算的人工智能和机器学习 (ML) 架构的支柱。多端口内存可实现并行性以适应 CIM 和近内存计算。

神经形态计算通过依赖比当前处理架构更高效的新架构和新内存技术，正在推动人工智能的发展，并刺激对更多计算能力的需求。特别是，内存计算和近内存计算对于这个新的人工智能时代至关重要，内存产量、测试、可靠性和实施方面的专业知识也至关重要。毫不夸张地说，生态系统依赖于紧凑、非易失性、节能的存储器。设计人员可以而且必须利用它们来解析大量数据和分布式内存，并提供为我们的“智能一切”未来提供动力所需的计算能力。

审核编辑：黄飞