基于PyTorch的深度学习入门教程之PyTorch的自动梯度计算

　　本文参考PyTorch官网的教程，分为五个基本模块来介绍PyTorch。为了避免文章过长，这五个模块分别在五篇博文中介绍。

　　Part1：PyTorch简单知识

　　Part2：PyTorch的自动梯度计算

　　Part3：使用PyTorch构建一个神经网络

　　Part4：训练一个神经网络分类器

　　Part5：数据并行化

　　本文是关于Part2的内容。

　　Part2：PyTorch的自动梯度计算

　　autograd package是PyTorch中所有神经网络的核心。先了解一些基本知识，然后开始训练第一个神经网络。autograd package提供了Tensors上所有运算的自动求导功能。它是一个按运行定义（define-by-run）的框架，这意味着反向传播是依据代码运行情况而定义的，并且每一个单次迭代都可能不相同。

　　1 变量（Variable）

　　autograd.Variable 是这个package的中心类。它打包了一个Tensor，并且支持几乎所有运算。一旦你完成了你的计算，可以调用.backward（），所有梯度就可以自动计算。

　　你可以使用.data属性来访问原始tensor。相对于变量的梯度值可以被积累到.grad中。

　　这里还有一个类对于自动梯度的执行是很重要的：Function（函数）

　　变量和函数是相互关联的，并且建立一个非循环图。每一个变量有一个.grad_fn属性，它可以引用一个创建了变量的函数（除了那些用户创建的变量——他们的grad_fn是空的）。

　　如果想要计算导数，可以调用Variable上的.backward（）。如果变量是标量（只有一个元素），你不需要为backward（）确定任何参数。但是，如果它有多个元素，你需要确定grad_output参数（这是一个具有匹配形状的tensor）。

import torch
from torch.autograd import Variable

　　创建一个变量：

x = Variable(torch.ones(2, 2), requires_grad=True)
print(x)

　　对变量做一个运算：

y = x + 2
print(y)

　　y作为一个运算的结果被创建，所以它有grad_fn。

print(y.grad_fn)

　　在y上做更多的运算：

z = y * y * 3
out = z.mean()

print(z, out)

　　2 梯度（Gradients）

　　现在来做反向传播。out.backward（）等价于out.backward（torch.Tensor（［1.0］））。

out.backward()

打印梯度 d(out)/dx

print(x.grad)

　　你应该会得到一个元素为4.5的矩阵。

　　你可以使用autograd做很多疯狂的事情。

x = torch.randn(3)
x = Variable(x, requires_grad=True)

y = x * 2
while y.data.norm() < 1000:
    y = y * 2

print(y)

gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)

print(x.grad)

　　责任编辑：xj