GTC 2023：深度学习之张星并行和流水线并行

除了数据并行之外，还有其他的主流并行技术，即张星并行和流水线并行训练。

张星并行和流水线并行技术通常被描述为模型并行，在开源社区中，最著名的两个系统是NVIDIA的Megatron- M和Microsoft的DeepSpeed。

Megatron- M使用一维张量并行，线算符的权重被分割，大型矩阵乘法被分解为在不同设备上执行的较小矩阵藏法，这可以是模型大小在集群中扩展并提高计算效率。

微软的DeepSpeed和NVIDIA的Megatron- M兼容，并通过Zero Redundancy Optimizer改善数据并行训练，消除内存冗余。

Colossal-AI不仅提供了完整的现有并行方法，还提供了更高级的办法，例如2D、2.5D 和3D张星并行，以及序列并行。

与1D张量并行相比，这些并称为是2.5D 和3D张星并行，不仅切分参数，而且沿更多张量唯独切分输入和输出，正方形或者立方体的每个子集，表示可以分配给不同处理器的部分数据和工作。

2D张量并行基于经典SUMMA矩阵利法算法