×

PyTorch教程12.4之随机梯度下降

消耗积分:0 | 格式:pdf | 大小:0.51 MB | 2023-06-05

李晨灵

分享资料个

在前面的章节中,我们一直在训练过程中使用随机梯度下降,但是没有解释它为什么有效。为了阐明它,我们刚刚在第 12.3 节中描述了梯度下降的基本原理。在本节中,我们将继续 更详细地讨论随机梯度下降。

%matplotlib inline
import math
import torch
from d2l import torch as d2l
%matplotlib inline
import math
from mxnet import np, npx
from d2l import mxnet as d2l

npx.set_np()
%matplotlib inline
import math
import tensorflow as tf
from d2l import tensorflow as d2l

12.4.1。随机梯度更新

在深度学习中,目标函数通常是训练数据集中每个示例的损失函数的平均值。给定训练数据集n例子,我们假设 fi(x)是关于 index 训练样例的损失函数i, 在哪里x是参数向量。然后我们到达目标函数

(12.4.1)f(x)=1n∑i=1nfi(x).

目标函数的梯度在x被计算为

(12.4.2)∇f(x)=1n∑i=1n∇fi(x).

如果使用梯度下降,每次自变量迭代的计算成本为O(n), 线性增长 n. 因此,当训练数据集较大时,每次迭代的梯度下降代价会更高。

随机梯度下降 (SGD) 减少了每次迭代的计算成本。在随机梯度下降的每次迭代中,我们统一采样一个索引i∈{1,…,n}随机获取数据示例,并计算梯度∇fi(x)更新x:

(12.4.3)x←x−η∇fi(x),

在哪里η是学习率。我们可以看到每次迭代的计算成本从O(n) 梯度下降到常数O(1). 此外,我们要强调的是随机梯度 ∇fi(x)是完整梯度的无偏估计∇f(x)因为

(12.4.4)Ei∇fi(x)=1n∑i=1n∇fi(x)=∇f(x).

这意味着,平均而言,随机梯度是对梯度的良好估计。

现在,我们将通过向梯度添加均值为 0 和方差为 1 的随机噪声来模拟随机梯度下降,将其与梯度下降进行比较。

def f(x1, x2): # Objective function
  return x1 ** 2 + 2 * x2 ** 2

def f_grad(x1, x2): # Gradient of the objective function
  return 2 * x1, 4 * x2

def sgd(x1, x2, s1, s2, f_grad):
  g1, g2 = f_grad(x1, x2)
  # Simulate noisy gradient
  g1 += torch.normal(0.0, 1, (1,)).item()
  g2 += torch.normal(0.0, 1, (1,)).item()
  eta_t = eta * lr()
  return (x1 - eta_t * g1, x2 - eta_t * g2, 0, 0)

def constant_lr():
  return 1

eta = 0.1
lr = constant_lr # Constant learning rate
d2l.show_trace_2d(f, d2l.train_2d(sgd, steps=50, f_grad=f_grad))
epoch 50, x1: 0.014749, x2: 0.009829
https://file.elecfans.com/web2/M00/A9/CA/poYBAGR9OS-ARqizAAD4tiLcbHE821.svg
def f(x1, x2): # Objective function
  return x1 ** 2 + 2 * x2 ** 2

def f_grad(x1, x2): # Gradient of the objective function
  return 2 * x1, 4 * x2

def sgd(x1, x2, s1, s2, f_grad):
  g1, g2 = f_grad(x1, x2)
  # Simulate noisy gradient
  g1 += np.random.normal(0.0, 1, (1,))
  g2 += np.random

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !