斯坦福继Flash Attention V1和V2又推出Flash Decoding

斯坦福大学此前提出的FlashAttention算法，能够在BERT-large训练中节省15%，将GPT训练速度提高2/3。此后又提出FlashAttention V2，拥有了更好的并行性和工作分区，让计算提速200%，上下文长度扩展更任性！

Flash-Decoding不仅借鉴了FlashAttention的优点，同时可以显著加快推理过程中的注意力，使非常长的序列的生成速度提高8倍。也可以极大提高了encoding速度。

 

审核编辑：刘清