资料下载
深度学习的学习率调节实践的PDF文件讲解
挽你何用
分享资料个
多层感知器多层感知器（MLP）是由一个输入层、一个或多个隐藏层和一个称为输出层的最终层组成的人工神经网络（ANN）。通常，靠近输入层的层称为较低层，靠近输出层的层称为外层，除输出层外的每一层都包含一个偏置神经元，并与下一层完全相连。当一个 ANN 包含一个很深的隐藏层时，它被称为深度神经网络（DNN）。在本文中，我们将在 MNIST 数据集上训练一个深度 MLP，并通过指数增长来寻找最佳学习率，绘制损失图，并找到损失增长的点，以达到 85％以上的准确率。对于最佳的实践过程，我们将实现早期停止，保存检查点，并使用 TensorBoard 绘制学习曲线。你可以在这里查看 jupyter Notebook：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices ／blob／master／optimal＿learning＿rates＿with＿keras＿api．ipynb 指数学习率学习率可以说是最重要的超参数。一般情况下，最佳学习速率约为最大学习速率（即训练算法偏离的学习速率）的一半。找到一个好的学习率的一个方法是训练模型进行几百次迭代，从非常低的学习率（例如，1e－5）开始，逐渐增加到非常大的值（例如，10）。这是通过在每次迭代时将学习速率乘以一个常数因子来实现的。如果你将损失描绘为学习率的函数，你应该首先看到它在下降，但过一段时间后，学习率会变得很高，这时损失会迅速回升：最佳学习率将略低于转折点，然后你可以重新初始化你的模型，并使用此良好的学习率对其进行正常训练。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- 相关下载
- 相关文章
