PyTorch中激活函数的全面概览

描述

为了更清晰地学习Pytorch中的激活函数,并对比它们之间的不同,这里对最新版本的Pytorch中的激活函数进行了汇总,主要介绍激活函数的公式、图像以及使用方法,具体细节可查看官方文档。

1、ELU

公式:

函数

图像:

函数

示例:

函数

2、Hardshrink

公式:

函数

图像:

函数

示例:

函数

3、Hardsigmoid

公式:

函数

图像:

函数

示例:

函数

4、Hardtanh

公式:

函数

图像:

函数

示例:

函数

5、Hardswish

公式:

函数

图像:

函数

示例:

函数

6、LeakyReLU

公式:

函数

图像:

函数

示例:

函数

7、LogSigmoid

公式:

函数

图像:

函数

示例;

函数

8、PReLU

公式:

函数

其中,a是可学习的参数。

图像:

函数

示例:

m = nn.PReLU()

9、ReLU

公式:

函数

图像:

函数

示例:

m = nn.ReLU()

10、ReLU6

公式:

函数

图像:

函数

示例:

m = nn.ReLU6()

11、RReLU

公式:

函数

其中,a从均匀分布U(lower,upper)随机采样得到。

图像:

函数

示例:

m = nn.RReLU(0.1, 0.3)

12、SELU

公式:

函数

其中,a=1.6732632423543772848170429916717,scale=1.0507009873554804934193349852946。

图像:

函数

示例:

m = nn.SELU()

13、CELU

公式:

函数

图像:

函数

示例:

m = nn.CELU()

14、GELU

公式:

函数

图像:

函数

示例:

m = nn.GELU()

15、Sigmoid

公式:

函数

图像:

函数

示例:

m = nn. Sigmoid()

16、SiLU

公式:

函数

图像:

函数

示例:

m = nn.SiLU()

17、Mish

公式:

函数

图像:

函数

示例:

m = nn.Mish()

18、Softplus

公式:

函数

对于数值稳定性,当函数时,恢复到线性函数。

图像:

函数

示例:

m = nn.Softplus()

19、Softshrink

公式:

函数

图像:

函数

示例:

m = nn.Softshrink()

20、Softsign

公式:

函数

图像:

函数

示例:

m = nn.Softsign()

21、Tanh

公式:

函数

图像:

函数

示例:

m = nn.Tanh()

22、Tanhshrink

公式:

函数

图像:

函数

示例:

m = nn.Tanhshrink()

23、Threshold

公式:

函数

示例:

m = nn.Threshold(0.1, 20)

24、GLU

公式:

函数

其中,a是输入矩阵的前半部分,b是后半部分。

示例:

m = nn.GLU()

25、Softmin

公式:

函数

示例:

m = nn.Softmin(dim=1)

26、Softmax

公式:

函数

示例:

m = nn.Softmax(dim=1)

27、LogSoftmax

公式:

函数

示例:

m = nn.LogSoftmiax(dim=1)

28、其它

还有MultiheadAttention、Softmax2d、AdaptiveLogSoftmaxWithLoss相对复杂一些没有添加,可去官网文档查看.

审核编辑:黄飞

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分