GRU¶

類 torch.nn.GRU(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)[source][source]¶

對輸入序列應用多層門控迴圈單元 (GRU) RNN。對於輸入序列中的每個元素，每一層計算以下函式

\begin{array}{ll} r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz} x_t + b_{iz} + W_{hz} h_{(t-1)} + b_{hz}) \\ n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \\ h_t = (1 - z_t) \odot n_t + z_t \odot h_{(t-1)} \end{array}

其中 $h_t$ 是時間 t 的隱藏狀態， $x_t$ 是時間 t 的輸入， $h_{(t-1)}$ 是層在時間 t-1 的隱藏狀態或時間 0 的初始隱藏狀態，並且 $r_t$ , $z_t$ , $n_t$ 分別為重置門、更新門和新門。 $\sigma$ 是 Sigmoid 函式，並且 $\odot$ 是 Hadamard 積。

在多層 GRU 中，第 $l$ 層 ( $l \ge 2$ ) 的輸入 $x^{(l)}_t$ 是前一層的隱藏狀態 $h^{(l-1)}_t$ 乘以 dropout $\delta^{(l-1)}_t$ ，其中每個 $\delta^{(l-1)}_t$ 是一個伯努利隨機變數，它以 dropout 的機率為 $0$ 。

引數

input_size – 輸入 x 中期望的特徵數
hidden_size – 隱藏狀態 h 中的特徵數
num_layers – 迴圈層的數量。例如，設定 num_layers=2 表示將兩個 GRU 堆疊在一起形成一個堆疊式 GRU，其中第二個 GRU 接收第一個 GRU 的輸出並計算最終結果。預設值：1
bias – 如果為 False，則該層不使用偏置權重 b_ih 和 b_hh。預設值：True
batch_first – 如果為 True，則輸入和輸出張量的形狀為 (batch, seq, feature)，而不是 (seq, batch, feature)。請注意，這不適用於隱藏狀態或 cell 狀態。詳細資訊請參閱下面的“輸入/輸出”部分。預設值：False
dropout – 如果非零，則在除最後一層之外的每個 GRU 層的輸出上引入一個 Dropout 層，dropout 機率等於 dropout。預設值：0
bidirectional – 如果為 True，則成為雙向 GRU。預設值：False

輸入：input, h_0

input：對於非批處理輸入，其張量形狀為 $(L, H_{in})$ ；當 batch_first=False 時，形狀為 $(L, N, H_{in})$ ；當 batch_first=True 時，形狀為 $(N, L, H_{in})$ ，其中包含輸入序列的特徵。輸入也可以是打包的變長序列。詳細資訊請參閱 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence()。
h_0：張量形狀為 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ ，包含輸入序列的初始隱藏狀態。如果未提供，則預設為零。

其中

\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}

輸出：output, h_n

output：對於非批處理輸入，其張量形狀為 $(L, D * H_{out})$ ；當 batch_first=False 時，形狀為 $(L, N, D * H_{out})$ ；當 batch_first=True 時，形狀為 $(N, L, D * H_{out})$ ，其中包含 GRU 最後一層在每個時刻 t 的輸出特徵 (h_t)。如果輸入是 torch.nn.utils.rnn.PackedSequence，則輸出也將是打包序列。
h_n：張量形狀為 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ ，包含輸入序列的最終隱藏狀態。

變數

weight_ih_l[k] – 第 $\text{k}^{th}$ 層 (W_ir|W_iz|W_in) 的可學習輸入-隱藏權重，當 k = 0 時，形狀為 (3*hidden_size, input_size)。否則，形狀為 (3*hidden_size, num_directions * hidden_size)。
weight_hh_l[k] – 第 $\text{k}^{th}$ 層 (W_hr|W_hz|W_hn) 的可學習隱藏-隱藏權重，形狀為 (3*hidden_size, hidden_size)。
bias_ih_l[k] – 第 $\text{k}^{th}$ 層 (b_ir|b_iz|b_in) 的可學習輸入-隱藏偏置，形狀為 (3*hidden_size)。
bias_hh_l[k] – 第 $\text{k}^{th}$ 層 (b_hr|b_hz|b_hn) 的可學習隱藏-隱藏偏置，形狀為 (3*hidden_size)。

注意

所有權重和偏置都從 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 中初始化，其中 $k = \frac{1}{\text{hidden\_size}}$ 。

注意

對於雙向 GRU，前向和後向分別是方向 0 和 1。當 batch_first=False 時，分割輸出層的示例：output.view(seq_len, batch, num_directions, hidden_size)。

注意

對於非批處理輸入，將忽略 batch_first 引數。

注意

新門 $n_t$ 的計算與原始論文和其他框架略有不同。在原始實現中，r_t 與之前的隱藏狀態 $h_{(t-1)}$ 之間的哈達瑪積 $(\odot)$ 在與權重矩陣 W 相乘和加偏置之前進行

\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + W_{hn} ( r_t \odot h_{(t-1)} ) + b_{hn}) \end{aligned}

這與 PyTorch 實現不同，PyTorch 實現是在 $W_{hn} h_{(t-1)}$ 之後進行的

\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \end{aligned}

此實現的差異是為了提高效率。

注意

如果滿足以下條件：1) 啟用 cudnn，2) 輸入資料在 GPU 上，3) 輸入資料的 dtype 為 torch.float16，4) 使用 V100 GPU，5) 輸入資料不是 PackedSequence 格式，則可以選擇持久演算法以提高效能。

示例

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)

GRU¶

文件

教程

資源