PyTorch 1.6即将原生支持自动混合精度训练

PyTorch 1.6 nightly增加了一个子模块amp，支持自动混合精度训练。值得期待。来看看性能如何，相比Nvidia Apex 有哪些优势？

A developer-friendly guide to mixed precision training with PyTorch

https://spell.run/blog/mixed-precision-training-with-pytorch-Xuk7YBEAACAASJam

即将在 PyTorch 1.6上发布的 torch.cuda.amp 混合精度训练模块实现了它的承诺，只需增加几行新代码就可以提高大型模型训练50-60% 的速度。