SELU

class torch.nn.SELU(inplace=False)

逐元素地應用 SELU 函式。

$$\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$$

其中 $\alpha = 1.6732632423543772848170429916717$ 和 $\text{scale} = 1.0507009873554804934193349852946$。

警告

在使用 kaiming_normal 或 kaiming_normal_ 進行初始化時，應使用 nonlinearity='linear' 而不是 nonlinearity='selu' 來實現 自歸一化神經網路。有關更多資訊，請參閱 torch.nn.init.calculate_gain()。

更多細節可以在論文 Self-Normalizing Neural Networks 中找到。

引數

inplace (布林型別, 可選) – 可以選擇原地執行操作。預設值: False

形狀

• 輸入: $(*)$, 其中 $*$ 表示任意維度數量。

• 輸出: $(*)$, 形狀與輸入相同。

示例

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)