RNN¶

class torch.nn.RNN(input_size, hidden_size, num_layers=1, nonlinearity='tanh', bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)[source][source]¶

對輸入序列應用具有 $\tanh$ 或 $\text{ReLU}$ 非線性的多層 Elman RNN。對於輸入序列中的每個元素，每一層計算以下函式：

h_t = \tanh(x_t W_{ih}^T + b_{ih} + h_{t-1}W_{hh}^T + b_{hh})

其中 $h_t$ 是時間 t 的隱藏狀態， $x_t$ 是時間 t 的輸入，而 $h_{(t-1)}$ 是時間 t-1 時前一層的隱藏狀態或時間 0 時的初始隱藏狀態。如果 nonlinearity 為 'relu'，則使用 $\text{ReLU}$ 代替 $\tanh$ 。

# Efficient implementation equivalent to the following with bidirectional=False
def forward(x, hx=None):
    if batch_first:
        x = x.transpose(0, 1)
    seq_len, batch_size, _ = x.size()
    if hx is None:
        hx = torch.zeros(num_layers, batch_size, hidden_size)
    h_t_minus_1 = hx
    h_t = hx
    output = []
    for t in range(seq_len):
        for layer in range(num_layers):
            h_t[layer] = torch.tanh(
                x[t] @ weight_ih[layer].T
                + bias_ih[layer]
                + h_t_minus_1[layer] @ weight_hh[layer].T
                + bias_hh[layer]
            )
        output.append(h_t[-1])
        h_t_minus_1 = h_t
    output = torch.stack(output)
    if batch_first:
        output = output.transpose(0, 1)
    return output, h_t

引數

input_size – 輸入 x 中期望的特徵數
hidden_size – 隱藏狀態 h 中的特徵數
num_layers – 迴圈層的數量。例如，設定 num_layers=2 意味著將兩個 RNN 堆疊在一起形成一個堆疊 RNN，其中第二個 RNN 接收第一個 RNN 的輸出並計算最終結果。預設值：1
nonlinearity – 要使用的非線性函式。可以是 'tanh' 或 'relu'。預設值：'tanh'
bias – 如果為 False，則該層不使用偏置權重 b_ih 和 b_hh。預設值：True
batch_first – 如果為 True，則輸入和輸出張量以 (batch, seq, feature) 的形狀提供，而不是 (seq, batch, feature)。請注意，這不適用於隱藏狀態或單元狀態。詳情請參閱下面的輸入/輸出部分。預設值：False
dropout – 如果非零，則在除最後一層以外的每個 RNN 層的輸出上引入一個 Dropout 層，其 dropout 機率等於 dropout。預設值：0
bidirectional – 如果為 True，則變為雙向 RNN。預設值：False

輸入：input, hx

input: 對於非批次輸入，形狀為 $(L, H_{in})$ 的張量；當 batch_first=False 時，形狀為 $(L, N, H_{in})$ 的張量；當 batch_first=True 時，形狀為 $(N, L, H_{in})$ 的張量，包含輸入序列的特徵。輸入也可以是 packed variable length sequence（打包的可變長度序列）。詳情請參閱 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence()。
hx: 對於非批次輸入，形狀為 $(D * \text{num\_layers}, H_{out})$ 的張量；對於批次輸入，形狀為 $(D * \text{num\_layers}, N, H_{out})$ 的張量，包含輸入序列批次的初始隱藏狀態。如果未提供，預設為零。

其中

\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}

輸出：output, h_n

output: 對於非批次輸入，形狀為 $(L, D * H_{out})$ 的張量；當 batch_first=False 時，形狀為 $(L, N, D * H_{out})$ 的張量；當 batch_first=True 時，形狀為 $(N, L, D * H_{out})$ 的張量，包含 RNN 最後一層在每個時間步 t 的輸出特徵 (h_t)。如果輸入是 torch.nn.utils.rnn.PackedSequence，則輸出也將是 packed sequence（打包序列）。
h_n: 張量，形狀為 $(D * \text{num\_layers}, H_{out})$ (對於非批次輸入) 或 $(D * \text{num\_layers}, N, H_{out})$ (對於批次輸入)，包含批次中每個元素的最終隱藏狀態。

變數

weight_ih_l[k] – 第 k 層的可學習的輸入-隱藏權重，當 k = 0 時形狀為 (hidden_size, input_size)。否則，形狀為 (hidden_size, num_directions * hidden_size)
weight_hh_l[k] – 第 k 層的可學習的隱藏-隱藏權重，形狀為 (hidden_size, hidden_size)
bias_ih_l[k] – 第 k 層的可學習的輸入-隱藏偏置，形狀為 (hidden_size)
bias_hh_l[k] – 第 k 層的可學習的隱藏-隱藏偏置，形狀為 (hidden_size)

注

所有權重和偏置都從 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 均勻分佈中初始化，其中 $k = \frac{1}{\text{hidden\_size}}$ 。

注

對於雙向 RNN，前向和後向分別為方向 0 和 1。當 batch_first=False 時，拆分輸出層的示例如下：output.view(seq_len, batch, num_directions, hidden_size)。

注

batch_first 引數對於非批次輸入會被忽略。

警告

已知在某些版本的 cuDNN 和 CUDA 上，RNN 函式存在非確定性問題。您可以透過設定以下環境變數來強制確定性行為

在 CUDA 10.1 上，設定環境變數 CUDA_LAUNCH_BLOCKING=1。這可能會影響效能。

在 CUDA 10.2 或更高版本上，設定環境變數（注意開頭的冒號符號）CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2。

詳情請參閱 cuDNN 8 釋出說明。

注

如果滿足以下條件：1) 已啟用 cudnn，2) 輸入資料在 GPU 上，3) 輸入資料的 dtype 為 torch.float16，4) 使用 V100 GPU，5) 輸入資料不在 PackedSequence 格式中，則可以選擇持久化演算法來提高效能。

示例

>>> rnn = nn.RNN(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)

RNN¶

文件

教程

資源