×

PyTorch教程22.4之多元微积分

消耗积分:0 | 格式:pdf | 大小:0.40 MB | 2023-06-05

分享资料个

现在我们对单个变量的函数的导数有了相当深入的理解,让我们回到我们最初的问题,我们正在考虑可能有数十亿权重的损失函数。

22.4.1。高维微分

第 22.3 节告诉我们的是,如果我们改变这数十亿个权重中的一个,而让其他权重保持不变,我们知道会发生什么!这无非是一个单变量的函数,所以我们可以这样写

(22.4.1)L(w1+ϵ1,w2,…,wN)≈L(w1,w2,…,wN)+ϵ1ddw1L(w1,w2,…,wN).

我们将一个变量的导数称为偏导数,同时将其他变量固定为偏导数,我们将使用符号 ∂∂w1对于(22.4.1)中的导数

现在,让我们改变一下w2一点点 w2+ϵ2:

(22.4.2)L(w1+ϵ1,w2+ϵ2,…,wN)≈L(w1,w2+ϵ2,…,wN)+ϵ1∂∂w1L(w1,w2+ϵ2,…,wN+ϵN)≈L(w1,w2,…,wN)+ϵ2∂∂w2L(w1,w2,…,wN)+ϵ1∂∂w1L(w1,w2,…,wN)+ϵ1ϵ2∂∂w2∂∂w1L(w1,w2,…,wN)≈L(w1,w2,…,wN)+ϵ2∂∂w2L(w1,w2,…,wN)+ϵ1∂∂w1L(w1,w2,…,wN).

我们再次使用了这样的想法ϵ1ϵ2是一个更高阶的项,我们可以用我们可以丢弃的相同方式丢弃

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !