×

PyTorch教程18.2之高斯过程先验

消耗积分:0 | 格式:pdf | 大小:0.18 MB | 2023-06-05

王强

分享资料个

了解高斯过程 (GP) 对于推理模型构建和泛化以及在各种应用中实现最先进的性能非常重要,包括主动学习和深度学习中的超参数调整。全科医生无处不在,了解它们是什么以及我们如何使用它们符合我们的利益。

在本节中,我们介绍高斯过程先验函数。在下一个笔记本中,我们将展示如何使用这些先验进行后验推理和做出预测。下一节可以被视为“GPs in a nutshell”,快速给出在实践中应用高斯过程所需的内容。

import numpy as np
from scipy.spatial import distance_matrix
from d2l import torch as d2l

d2l.set_figsize()

18.2.1。定义

高斯过程被定义为随机变量的集合,其中任何有限数量的随机变量都服从联合高斯分布如果一个函数f(x)是一个高斯过程,具有均值函数 m(x)协方差函数内核 k(x,x′), f(x)∼GP(m,k),然后在任何输入点集合处查询的任何函数值集合x(时间、空间位置、图像像素等),具有均值向量的联合多元高斯分布μ和协方差矩阵 K:f(x1),…,f(xn)∼N(μ,K), 在哪里 μi=E[f(xi)]=m(xi)Kij=Cov(f(xi),f(xj))=k(xi,xj).

这个定义看似抽象且难以理解,但高斯过程实际上是非常简单的对象。任何功能

(18.2.1)f(x)=w⊤ϕ(x)=〈w,ϕ(x)〉,

w从高斯(正态)分布中得出,和 ϕ是基函数的任何向量,例如 ϕ(x)=(1,x,x2,...,xd)⊤, 是一个高斯过程。此外,任何高斯过程f(x)都可以表示为方程(18.2.1)的形式让我们考虑一些具体的例子,开始熟悉高斯过程,然后我们才能体会到它们是多么简单和有用。

18.2.2。一个简单的高斯过程

认为f(x)=w0+w1x, 和 w0,w1∼N(0,1), 和w0,w1,x都在一个维度上。我们可以把这个函数等价地写成内积f(x)=(w0,w1)(1,x)⊤. 在 上面的(18.2.1)中,w=(w0,w1)⊤ϕ(x)=(1,x)⊤.

对于任何x,f(x)是两个高斯随机变量的总和。由于高斯在加法下是封闭的,f(x)也是任意的高斯随机变量x. 事实上,我们可以计算任何特定的x


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !