存算一体芯片如何支持Transformer等不同模型？

后摩智能致力于打造通用人工智能芯片，自主研发的存算一体芯片在支持各类模型方面表现突出，包括YOLO系列网络、BEV系列网络、点云系列网络等。这一系列芯片不仅在性能上有着显著的优势，而且特别针对目前自动驾驶领域的算法进行了专门的优化。近期，后摩智能刚完成新一款技术验证芯片的量产测试，属于国内首款基于存算一体架构的7nm车规级技术验证芯片，专为Transformer 等车端大模型设计。

当前，自动驾驶等领域中，Transformer模型的应用逐渐占据主导地位。这一架构的优势在于其能够更好地捕捉长距离依赖关系，有助于提高模型对复杂场景的理解和处理能力。面对Transformer在自动驾驶中的日益增长的需求，一个关键的问题浮现出来：存算一体芯片是否能够高效部署Transformer模型？

Q1► 存算一体芯片能高效部署Transformer吗？

Transformer架构是一种强大的神经网络架构，能够实现高效的序列建模和复杂的任务处理，它的核心组成部分包括多层感知机（MLP）和多头注意力（MHA）。MLP是一种前馈神经网络结构，由多个层次的神经元组成，每一层都与上一层的所有神经元相连。

这些神经元通过权重进行连接。MLP在Transformer中负责对输入特征进行变换和映射，帮助网络捕捉不同层次的抽象特征；MHA允许网络在不同位置对输入序列的不同部分进行关注，从而提高模型的并行性和全局信息的捕捉能力。MHA的基本思想是通过多个注意力头（Attention Head）并行处理输入序列，每个头都学习关注输入的不同方面。

这种并行性有助于有效地处理长序列，并使网络更具扩展性和泛化能力。在部署Transformer时，AI芯片的任务就是高效执行网络中的MLP和MHA结构。这需要AI芯片能对其中所有算子都有很高的并行执行能力。

Q2► 多层感知机如何高效部署在存算一体芯片上？

全连接层的本质是执行两个矩阵（输入特征矩阵和权重矩阵）的矩阵乘法。我们将其中权重存放在存算单元上。将输入的特征送入存算单元，由存算单元中的计算单元直接完成乘累加操作，输出乘累加结果。由于存算单元的计算密度很高，执行这种全连接层的并行度很高，因此效率很高。另一方面，权重被保持在存算单元上，不发生移动，从而大幅降低了搬移权重所带来的能耗开销。

多头注意力是Transformer模型的一个关键组成部分，它有点像大脑的多个小模块，每个模块都负责关注输入数据的不同方面。这个结构之所以特别，是因为它包含了多个小“头”，每个“头”都在关注输入数据的不同部分。

在处理输入数据时，每个“头”都有三个关键矩阵，分别是查询（Q）、键（K）、和值（V）。通过一系列数学运算，多头注意力可以捕捉到输入序列中不同位置之间的关系。

关系计算：首先，我们让查询（Q）和键（K）进行一种特殊的数学操作，就像在查找输入数据中不同部分之间的联系。这为模型提供了对输入序列中不同位置的关注程度。

重要性映射：接着，我们通过一个函数（softmax）把刚才计算的结果映射到0到1之间，就好像在给不同位置分配注意力的“权重”，表示它们的相对重要性。

信息整合：最后，我们把刚才得到的归一化的结果与值（V）进行另一次数学操作，这样就得到了最终输出。这一步把被注意到的值通过权重相加，得到多头注意力的最终输出。

虽然这里提到的数学操作和全连接层有点相似，但在多头注意力中，查询、键、和值这三个矩阵是动态生成的。这就意味着在执行数学操作时，需要灵活的加载数据到存算单元上，这一过程的效率对于处理器性能非常关键。

为了解决这个问题，后摩智能设计了高效的存算单元数据加载硬件。这可以极大地提高存算单元中数据的替换效率，确保在多头注意力的计算中，动态产生的矩阵K、V能够快速而高效地加载到存算单元中。这种巧妙的设计使得存算一体芯片能够在执行多头注意力结构时取得最佳性能，为Transformer模型的高效运行提供了强有力的支持。

除了计算密集型的全连接层和矩阵乘法之外，后摩智能的芯片还拥有大量的向量算力和标量算力来处理其它算子，例如softmax和layernorm算子。为了充分利用这些算力资源，后摩智能采用了先进的编译优化算法。这一算法的设计使得存算单元、向量单元和标量单元能够被同时调度，实现并行执行不同的计算任务。这种并行计算的优势不仅仅体现在同一算子的多个实例之间，更在于不同算子之间的并发执行。通过同时处理各个算子，后摩智能的芯片在运行Transformer时能够达到最高的效率，极大地提升了整个计算过程的速度和效能。

综合而言，后摩智能芯片以其先进的设计理念和高效的存算一体架构，成功解决了对Transformer算法的高效支持问题。通过优化全连接层、矩阵乘法和动态加载、向量和标量运算等关键环节，后摩智能为Transformer运行的高效性和性能提供了强大的支持，为自动驾驶等领域的发展注入了新的动力。未来，后摩智能的存算一体架构芯片也将随着算法与硬件的演进，不断迭代，满足万物智能时代对算力的澎湃需求。

 




审核编辑：刘清