torch.nn.functional.glu

torch.nn.functional.glu(input, dim=-1) → Tensor

門控線性單元（Gated Linear Unit）。計算方式如下：

$$\text{GLU}(a, b) = a \otimes \sigma(b)$$

其中 input 沿 dim 維度被分成兩半形成 a 和 b，$\sigma$ 是 sigmoid 函式，$\otimes$ 是矩陣的元素級乘積。

參見 Language Modeling with Gated Convolutional Networks。

引數

• input (Tensor) – 輸入張量

• dim (int) – 沿此維度分割輸入。預設值：-1

返回型別

Tensor