AlphaDropout

class torch.nn.AlphaDropout(p=0.5, inplace=False)

對輸入應用 Alpha Dropout。

Alpha Dropout 是一種 Dropout 型別，它保持自歸一化屬性。對於均值為零、標準差為單位的輸入，Alpha Dropout 的輸出保持輸入的原始均值和標準差。Alpha Dropout 與 SELU 啟用函式協同工作，SELU 啟用函式確保輸出的均值為零，標準差為單位。

在訓練期間，它使用伯努利分佈的樣本，以機率 p 隨機遮蔽輸入張量中的某些元素。每次前向呼叫時，被遮蔽的元素都是隨機的，並且進行縮放和平移以保持零均值和單位標準差。

在評估期間，此模組僅計算恆等函式。

更多詳細資訊可在論文 自歸一化神經網路 中找到。

引數

• p (float) – 元素被丟棄的機率。預設值：0.5

• inplace (bool, optional) – 如果設定為 True，將就地執行此操作

形狀

• 輸入: $(*)$. 輸入可以是任何形狀

• 輸出: $(*)$. 輸出的形狀與輸入相同

示例

>>> m = nn.AlphaDropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)