NLLLoss

class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')

負對數似然損失（Negative Log Likelihood Loss）。它對於訓練 C 類別的分類問題非常有用。

如果提供，可選引數 weight 應是一個 1D 張量，為每個類別分配權重。這在訓練集不平衡時特別有用。

input 在前向傳播中應包含每個類別的對數機率。input 必須是大小為 $(minibatch, C)$ 或 $(minibatch, C, d_1, d_2, ..., d_K)$ 的張量，其中對於 K 維情況，$K \geq 1$。後者對於更高維度的輸入很有用，例如計算二維影像的每個畫素的 NLL 損失。

在神經網路中獲得對數機率很容易，只需在網路的最後一層新增一個 LogSoftmax 層即可。如果您不想新增額外的層，可以使用 CrossEntropyLoss 代替。

此損失函式期望的 target 應為類別索引，範圍在 $[0, C-1]$ 之間，其中 C = 類別數量；如果指定了 ignore_index，此損失函式也接受該類別索引（此索引不一定在類別範圍內）。

未約簡（即 reduction 設定為 'none'）的損失可以描述為

$$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_{y_n} x_{n,y_n}, \quad w_{c} = \text{weight}[c] \cdot \mathbb{1}\{c \not= \text{ignore\_index}\},$$

其中 $x$ 是輸入，$y$ 是目標，$w$ 是權重，$N$ 是批次大小。如果 reduction 不是 'none'（預設為 'mean'），則

$$\ell(x, y) = \begin{cases} \sum_{n=1}^N \frac{1}{\sum_{n=1}^N w_{y_n}} l_n, & \text{if reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{if reduction} = \text{`sum'.} \end{cases}$$

引數

• weight (Tensor, 可選) – 為每個類別手動設定的縮放權重。如果給定，它必須是一個大小為 C 的張量。否則，它將被視為全為 1。

• size_average (bool, 可選) – 已棄用（參見 reduction）。預設情況下，損失在批次中的每個損失元素上取平均。注意，對於某些損失，每個樣本有多個元素。如果欄位 size_average 設定為 False，則改為對每個 minibatch 中的損失求和。當 reduce 為 False 時忽略。預設值：None

• ignore_index (int, 可選) – 指定一個將被忽略且不貢獻輸入梯度的目標值。當 size_average 為 True 時，損失將在未被忽略的目標上取平均。

• reduce (bool, 可選) – 已棄用（參見 reduction）。預設情況下，損失會根據 size_average 在每個 minibatch 的觀察值上取平均或求和。當 reduce 為 False 時，返回每個批次元素的損失，並忽略 size_average。預設值：None

• reduction (str, 可選) – 指定應用於輸出的約簡方式：'none' | 'mean' | 'sum'。'none'：不應用任何約簡，'mean'：計算輸出的加權平均值，'sum'：對輸出求和。注意：size_average 和 reduce 正在被棄用，在此期間，指定這兩個引數中的任何一個都會覆蓋 reduction。預設值：'mean'

形狀：

• 輸入: $(N, C)$ 或 $(C)$，其中 C = 類別數量，N = 批次大小，或 $(N, C, d_1, d_2, ..., d_K)$，其中 $K \geq 1$，在K維損失的情況下。

• 目標: $(N)$ 或 $()$，其中每個值滿足 $0 \leq \text{targets}[i] \leq C-1$，或 $(N, d_1, d_2, ..., d_K)$，其中 $K \geq 1$，在K維損失的情況下。

• 輸出: 如果 reduction 為 'none'，形狀為 $(N)$ 或 $(N, d_1, d_2, ..., d_K)$，其中 $K \geq 1$，在K維損失的情況下。否則，為標量。

示例

>>> log_softmax = nn.LogSoftmax(dim=1)
>>> loss_fn = nn.NLLLoss()
>>> # input to NLLLoss is of size N x C = 3 x 5
>>> input = torch.randn(3, 5, requires_grad=True)
>>> # each element in target must have 0 <= value < C
>>> target = torch.tensor([1, 0, 4])
>>> loss = loss_fn(log_softmax(input), target)
>>> loss.backward()
>>>
>>>
>>> # 2D loss example (used, for example, with image inputs)
>>> N, C = 5, 4
>>> loss_fn = nn.NLLLoss()
>>> data = torch.randn(N, 16, 10, 10)
>>> conv = nn.Conv2d(16, C, (3, 3))
>>> log_softmax = nn.LogSoftmax(dim=1)
>>> # output of conv forward is of shape [N, C, 8, 8]
>>> output = log_softmax(conv(data))
>>> # each element in target must have 0 <= value < C
>>> target = torch.empty(N, 8, 8, dtype=torch.long).random_(0, C)
>>> # input to NLLLoss is of size N x C x height (8) x width (8)
>>> loss = loss_fn(output, target)
>>> loss.backward()