Mish

class torch.nn.Mish(inplace=False)

逐元素應用 Mish 函式。

Mish：一種自正則化非單調神經網路啟用函式。

$$\text{Mish}(x) = x * \text{Tanh}(\text{Softplus}(x))$$

注意

參閱 Mish: A Self Regularized Non-Monotonic Neural Activation Function

形狀

• 輸入：$(*)$，其中 $*$ 表示任意維數。

• 輸出：$(*)$，與輸入具有相同形狀。

示例

>>> m = nn.Mish()
>>> input = torch.randn(2)
>>> output = m(input)