RMSprop¶

class torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False, capturable=False, foreach=None, maximize=False, differentiable=False)[原始碼][原始碼]¶

實現 RMSprop 演算法。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \alpha \text{ (alpha)}, \: \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)} \\ &\hspace{13mm} \lambda \text{ (weight decay)},\: \mu \text{ (momentum)}, \: centered, \: \epsilon \text{ (epsilon)} \\ &\textbf{initialize} : v_0 \leftarrow 0 \text{ (square average)}, \: \textbf{b}_0 \leftarrow 0 \text{ (buffer)}, \: g^{ave}_0 \leftarrow 0 \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}if \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}v_t \leftarrow \alpha v_{t-1} + (1 - \alpha) g^2_t \hspace{8mm} \\ &\hspace{5mm} \tilde{v_t} \leftarrow v_t \\ &\hspace{5mm}if \: centered \\ &\hspace{10mm} g^{ave}_t \leftarrow g^{ave}_{t-1} \alpha + (1-\alpha) g_t \\ &\hspace{10mm} \tilde{v_t} \leftarrow \tilde{v_t} - \big(g^{ave}_{t} \big)^2 \\ &\hspace{5mm}if \: \mu > 0 \\ &\hspace{10mm} \textbf{b}_t\leftarrow \mu \textbf{b}_{t-1} + g_t/ \big(\sqrt{\tilde{v_t}} + \epsilon \big) \\ &\hspace{10mm} \theta_t \leftarrow \theta_{t-1} - \gamma \textbf{b}_t \\ &\hspace{5mm} else \\ &\hspace{10mm}\theta_t \leftarrow \theta_{t-1} - \gamma g_t/ \big(\sqrt{\tilde{v_t}} + \epsilon \big) \hspace{3mm} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

有關演算法的更多詳細資訊，請參考 G. Hinton 的講義和中心化版本《生成帶有迴圈神經網路的序列》。這裡的實現是在新增 epsilon 之前取平方梯度平均的平方根（注意 TensorFlow 互換了這兩個操作）。因此，有效的學習率是 $\gamma/(\sqrt{v} + \epsilon)$ ，其中 $\gamma$ 是計劃的學習率， $v$ 是平方梯度的加權移動平均。

引數

params (可迭代物件) – 要最佳化的引數或命名引數的可迭代物件，或者定義引數組的字典的可迭代物件。使用命名引數時，所有組中的所有引數都應命名
lr (float, Tensor, 可選) – 學習率 (預設值: 1e-2)
alpha (float, 可選) – 平滑常數 (預設值: 0.99)
eps (float, 可選) – 新增到分母中以提高數值穩定性的項 (預設值: 1e-8)
weight_decay (float, 可選) – 權重衰減 (L2 懲罰) (預設值: 0)
momentum (float, 可選) – 動量因子 (預設值: 0)
centered (bool, 可選) – 如果 True，則計算中心化的 RMSProp，梯度透過其方差估計進行歸一化
capturable (bool, 可選) – 此例項是否可以在 CUDA 圖中安全捕獲。傳入 True 可能會影響未作圖的效能，因此如果您不打算對此例項進行圖捕獲，請將其保留為 False (預設值: False)
foreach (bool, 可選) – 是否使用最佳化器的 foreach 實現。如果使用者未指定（即 foreach 為 None），在 CUDA 上我們將嘗試使用 foreach 而非 for 迴圈實現，因為它通常效能顯著更高。請注意，由於中間結果是張量列表而非單個張量，foreach 實現比 for 迴圈版本多使用大約 sizeof(params) 的峰值記憶體。如果記憶體受限，請每次透過最佳化器批次處理更少的引數或將此標誌設定為 False (預設值: None)
maximize (bool, 可選) – 相對於引數最大化目標函式，而不是最小化 (預設值: False)
differentiable (bool, 可選) – 在訓練期間是否應透過最佳化器步驟進行自動梯度計算。否則，step() 函式在 torch.no_grad() 上下文環境中執行。設定為 True 可能會影響效能，因此如果您不打算透過此例項執行自動梯度計算，請將其保留為 False (預設值: False)

add_param_group(param_group)[原始碼]¶

向 Optimizer 的 param_groups 新增一個引數組。

當微調預訓練網路時，這可能很有用，因為可以使凍結層可訓練，並隨著訓練的進行將其新增到 Optimizer 中。

引數: param_group (dict) – 指定應最佳化哪些張量以及特定組的最佳化選項。

load_state_dict(state_dict)[原始碼]¶

載入最佳化器狀態。

引數: state_dict (dict) – 最佳化器狀態。應為呼叫 state_dict() 返回的物件。

注意

引數的名稱（如果它們存在於 state_dict() 中每個引數組的“param_names”鍵下）不會影響載入過程。要為自定義情況使用引數名稱（例如，載入的狀態字典中的引數與最佳化器中初始化的引數不同時），應實現自定義的 register_load_state_dict_pre_hook 以相應地調整載入的字典。如果載入的狀態字典的 param_groups 中存在 param_names，它們將被儲存並覆蓋最佳化器狀態中當前存在的名稱（如果存在）。如果它們不存在於載入的狀態字典中，最佳化器的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[原始碼]¶

註冊一個 load_state_dict 後鉤子，它將在呼叫 load_state_dict() 後被呼叫。它應具有以下簽名

hook(optimizer) -> None

optimizer 引數是正在使用的最佳化器例項。

在對 self 呼叫 load_state_dict 後，將使用引數 self 呼叫該鉤子。註冊的鉤子可用於在 load_state_dict 載入狀態字典後執行後處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，則提供的後鉤子將在所有已註冊的 load_state_dict 後鉤子之前觸發。否則，提供的鉤子將在所有已註冊的後鉤子之後觸發。(預設值: False)

返回

返回一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[原始碼]¶

註冊一個 load_state_dict 前鉤子，它將在呼叫 load_state_dict() 前被呼叫。它應具有以下簽名

hook(optimizer, state_dict) -> state_dict or None

optimizer 引數是正在使用的最佳化器例項，state_dict 引數是使用者傳入 load_state_dict 的狀態字典的淺複製。該鉤子可以就地修改狀態字典或可選地返回一個新的。如果返回狀態字典，它將被用於載入到最佳化器中。

在對 self 呼叫 load_state_dict 前，將使用引數 self 和 state_dict 呼叫該鉤子。註冊的鉤子可用於在進行 load_state_dict 呼叫之前執行預處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，則提供的前鉤子將在所有已註冊的 load_state_dict 前鉤子之前觸發。否則，提供的前鉤子將在所有已註冊的前鉤子之後觸發。(預設值: False)

返回

返回一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[原始碼]¶

註冊一個 state_dict 後鉤子，它將在呼叫 state_dict() 後被呼叫。

它應具有以下簽名

hook(optimizer, state_dict) -> state_dict or None

在對 self 生成狀態字典後，將使用引數 self 和 state_dict 呼叫該鉤子。該鉤子可以就地修改狀態字典或可選地返回一個新的。註冊的鉤子可用於在返回狀態字典之前對其進行後處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，則提供的後鉤子將在所有已註冊的 state_dict 後鉤子之前觸發。否則，提供的鉤子將在所有已註冊的後鉤子之後觸發。(預設值: False)

返回

返回一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[原始碼]¶

註冊一個 state_dict 前鉤子，它將在呼叫 state_dict() 前被呼叫。

它應具有以下簽名

hook(optimizer) -> None

optimizer 引數是正在使用的最佳化器例項。在對 self 呼叫 state_dict 前，將使用引數 self 呼叫該鉤子。註冊的鉤子可用於在進行 state_dict 呼叫之前執行預處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，則提供的前鉤子將在所有已註冊的 state_dict 前鉤子之前觸發。否則，提供的前鉤子將在所有已註冊的前鉤子之後觸發。(預設值: False)

返回

返回一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[原始碼]¶

註冊一個最佳化器步後鉤子，它將在最佳化器步之後被呼叫。

它應具有以下簽名

hook(optimizer, args, kwargs) -> None

optimizer 引數是正在使用的最佳化器例項。

引數: hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
返回: 返回一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子
返回型別: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[原始碼]¶

註冊一個最佳化器步前鉤子，它將在最佳化器步之前被呼叫。

它應具有以下簽名

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 引數是正在使用的最佳化器例項。如果 args 和 kwargs 被前鉤子修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。

引數: hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
返回: 返回一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子
返回型別: torch.utils.hooks.RemovableHandle

state_dict()[原始碼]¶

將最佳化器的狀態作為 dict 返回。

它包含兩個條目

state: 一個字典，包含當前的最佳化狀態。其內容
在不同的最佳化器類之間有所不同，但有一些共同特徵。例如，狀態按引數儲存，但引數本身不儲存。state 是一個字典，將引數 ID 對映到包含與每個引數對應的狀態的字典。
param_groups: 一個列表，包含所有引數組，其中每個
引數組都是一個字典。每個引數組包含特定於最佳化器的元資料，如學習率和權重衰減，以及組中引數的引數 ID 列表。如果引數組是使用 named_parameters() 初始化的，則名稱內容也將儲存到狀態字典中。

注意：引數 ID 可能看起來像索引，但它們只是將狀態與 param_group 關聯起來的 ID。從狀態字典載入時，最佳化器會將 param_group 的 params（整數 ID）與最佳化器的 param_groups（實際的 nn.Parameter）進行壓縮，以便在沒有額外驗證的情況下匹配狀態。

返回的狀態字典可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

返回型別: dict[str, Any]

step(closure=None)[原始碼][原始碼]¶

執行單個最佳化步驟。

引數: closure (可呼叫物件, 可選) – 一個重新評估模型並返回損失的閉包。

zero_grad(set_to_none=True)[原始碼]¶

重置所有最佳化過的 torch.Tensor 的梯度。

引數: set_to_none (bool) – 不是設定為零，而是將梯度設定為 None。這通常會降低記憶體佔用，並可適度提高效能。然而，它會改變某些行為。例如：1. 當用戶嘗試訪問梯度並對其執行手動操作時，None 屬性或全零張量的行為會不同。2. 如果使用者請求 zero_grad(set_to_none=True) 後緊跟一個反向傳播，則未接收到梯度的引數的 .grad 將保證為 None。3. 如果梯度為 0 或 None，torch.optim 最佳化器會有不同的行為（在前一種情況下，它使用梯度 0 執行步驟，而在後一種情況下，它完全跳過該步驟）。

RMSprop¶

文件

教程

資源