Adagrad¶

class torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0, initial_accumulator_value=0, eps=1e-10, foreach=None, *, maximize=False, differentiable=False, fused=None)[source][source]¶

實現 Adagrad 演算法。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)}, \: \lambda \text{ (weight decay)}, \\ &\hspace{12mm} \tau \text{ (initial accumulator value)}, \: \eta\text{ (lr decay)}\\ &\textbf{initialize} : state\_sum_0 \leftarrow \tau \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm} \tilde{\gamma} \leftarrow \gamma / (1 +(t-1) \eta) \\ &\hspace{5mm} \textbf{if} \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}state\_sum_t \leftarrow state\_sum_{t-1} + g^2_t \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1}- \tilde{\gamma} \frac{g_t}{\sqrt{state\_sum_t}+\epsilon} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

關於該演算法的更多細節，請參考 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization。

引數

params (可迭代物件) – 要最佳化的引數或命名引數的可迭代物件，或定義引數組的可迭代字典物件。當使用命名引數時，所有組中的所有引數都應命名。
lr (浮點型, Tensor, 可選) – 學習率 (預設值: 1e-2)
lr_decay (浮點型, 可選) – 學習率衰減 (預設值: 0)
weight_decay (浮點型, 可選) – 權重衰減 (L2 懲罰項) (預設值: 0)
initial_accumulator_value (浮點型, 可選) – 梯度平方和的初始值 (預設值: 0)
eps (浮點型, 可選) – 新增到分母以提高數值穩定性的項 (預設值: 1e-10)
foreach (布林型, 可選) – 是否使用最佳化器的 foreach 實現。如果使用者未指定 (即 foreach 為 None)，我們將嘗試在 CUDA 上使用 foreach 實現而非 for-loop 實現，因為前者通常效能顯著更高。請注意，由於中間變數是一個 tensorlist 而非單個張量，foreach 實現比 for-loop 版本多佔用約 sizeof(params) 的峰值記憶體。如果記憶體佔用過高，可以一次透過最佳化器的引數數量減少，或者將此標誌設定為 False。(預設值: None)
maximize (布林型, 可選) – 相對於引數最大化目標函式，而不是最小化 (預設值: False)
differentiable (布林型, 可選) – 在訓練中是否應透過最佳化器步長進行自動求導。否則，step() 函式在 torch.no_grad() 上下文中執行。將其設定為 True 可能會影響效能，因此如果您不打算透過此例項執行自動求導，請將其保留為 False。(預設值: False)
fused (布林型, 可選) – 是否使用 fused 實現 (僅限 CPU)。當前支援 torch.float64、torch.float32、torch.float16 和 torch.bfloat16。(預設值: None)。請注意，fused 實現不支援稀疏或複數梯度。

add_param_group(param_group)[source]¶

將引數組新增到 Optimizer 的 param_groups 中。

這在微調預訓練網路時很有用，因為可以在訓練過程中將凍結的層設為可訓練並新增到 Optimizer 中。

引數: param_group (字典) – 指定哪些張量應該被最佳化，以及組特定的最佳化選項。

load_state_dict(state_dict)[source]¶

載入最佳化器狀態。

引數: state_dict (字典) – 最佳化器狀態。應為呼叫 state_dict() 返回的物件。

注意

引數的名稱 (如果它們存在於 state_dict() 中每個引數組的 “param_names” 鍵下) 不會影響載入過程。要在自定義情況下使用引數名稱 (例如當載入狀態字典中的引數與最佳化器中初始化的引數不同時)，應實現一個自定義的 register_load_state_dict_pre_hook 來相應地調整載入的字典。如果 param_names 存在於載入的狀態字典 param_groups 中，它們將被儲存並覆蓋最佳化器狀態中當前的名稱 (如果存在)。如果它們不存在於載入的狀態字典中，最佳化器的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 後置鉤子，它將在呼叫 load_state_dict() 後被呼叫。它應具有以下簽名

hook(optimizer) -> None

optimizer 引數是正在使用的最佳化器例項。

在 self 上呼叫 load_state_dict 後，將以 self 為引數呼叫鉤子。註冊的鉤子可用於在 load_state_dict 載入完 state_dict 後執行後處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (布林型) – 如果為 True，提供的後置 hook 將在所有已註冊的 load_state_dict 後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值: False)

返回值

一個可以透過呼叫 handle.remove() 來移除新增的鉤子的控制代碼。

返回型別

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 前置鉤子，它將在呼叫 load_state_dict() 之前被呼叫。它應具有以下簽名

hook(optimizer, state_dict) -> state_dict or None

optimizer 引數是正在使用的最佳化器例項，而 state_dict 引數是使用者傳遞給 load_state_dict 的 state_dict 的淺複製。鉤子可以原地修改 state_dict，或選擇返回一個新的 state_dict。如果返回了一個 state_dict，它將被用於載入到最佳化器中。

在 self 上呼叫 load_state_dict 之前，將以 self 和 state_dict 為引數呼叫鉤子。註冊的鉤子可用於在進行 load_state_dict 呼叫之前執行預處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (布林型) – 如果為 True，提供的前置 hook 將在所有已註冊的 load_state_dict 前置鉤子之前觸發。否則，提供的前置 hook 將在所有已註冊的前置鉤子之後觸發。(預設值: False)

返回值

一個可以透過呼叫 handle.remove() 來移除新增的鉤子的控制代碼。

返回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個狀態字典後置鉤子，它將在呼叫 state_dict() 後被呼叫。

它應具有以下簽名

hook(optimizer, state_dict) -> state_dict or None

該鉤子將在為 self 生成 state_dict 後被呼叫，引數包括 self 和 state_dict。該鉤子可以就地修改 state_dict，或者選擇返回一個新的。註冊的鉤子可用於在 state_dict 返回之前對其進行後處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在所有已註冊的 state_dict 後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值: False)

返回值

一個可以透過呼叫 handle.remove() 來移除新增的鉤子的控制代碼。

返回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個狀態字典前置鉤子，它將在呼叫 state_dict() 前被呼叫。

它應具有以下簽名

hook(optimizer) -> None

引數 optimizer 是正在使用的最佳化器例項。該鉤子將在對 self 呼叫 state_dict 之前被呼叫，引數為 self。註冊的鉤子可用於在進行 state_dict 呼叫之前執行預處理。

引數

hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 將在所有已註冊的 state_dict 前置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的前置鉤子之後觸發。(預設值: False)

返回值

一個可以透過呼叫 handle.remove() 來移除新增的鉤子的控制代碼。

返回型別

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[source]¶

註冊一個最佳化器步後置鉤子，它將在最佳化器執行一步後被呼叫。

它應具有以下簽名

hook(optimizer, args, kwargs) -> None

optimizer 引數是正在使用的最佳化器例項。

引數: hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
返回值: 一個可以透過呼叫 handle.remove() 來移除新增的鉤子的控制代碼。
返回型別: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[source]¶

註冊一個最佳化器步前置鉤子，它將在最佳化器執行一步前被呼叫。

它應具有以下簽名

hook(optimizer, args, kwargs) -> None or modified args and kwargs

引數 optimizer 是正在使用的最佳化器例項。如果 args 和 kwargs 被前置鉤子修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。

引數: hook (可呼叫物件) – 要註冊的使用者定義的鉤子。
返回值: 一個可以透過呼叫 handle.remove() 來移除新增的鉤子的控制代碼。
返回型別: torch.utils.hooks.RemovableHandle

state_dict()[source]¶

返回最佳化器的狀態作為 dict。

它包含兩個條目

state：一個儲存當前最佳化狀態的 Dict。其內容
在不同的最佳化器類之間有所不同，但有一些共同的特徵。例如，狀態是按引數儲存的，而引數本身並*未*儲存。state 是一個將引數 ID 對映到包含對應每個引數狀態的 Dict。
param_groups：一個 List，包含所有引數組，其中每個
引數組都是一個 Dict。每個引數組都包含特定於最佳化器的元資料，例如學習率和權重衰減，以及該組中引數的引數 ID 列表。如果引數組是使用 named_parameters() 初始化的，則引數名稱的內容也將儲存在狀態字典中。

注意：引數 ID 可能看起來像索引，但它們只是將狀態與 param_group 關聯起來的 ID。從 state_dict 載入時，最佳化器會將 param_group 中的 params (整數 ID) 與最佳化器的 param_groups (實際的 nn.Parameter 物件) 打包（zip）起來，以便匹配狀態，而*無需*額外的驗證。

返回的狀態字典可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

返回型別: dict[str, Any]

step(closure=None)[source][source]¶

執行一次最佳化步驟。

引數: closure (Callable, optional) – 一個閉包（closure），用於重新評估模型並返回損失。

zero_grad(set_to_none=True)[source]¶

重置所有已最佳化 torch.Tensor 的梯度。

引數: set_to_none (bool) – 不將梯度設定為零，而是設定為 None。這通常會降低記憶體佔用，並能適度提升效能。但是，它會改變某些行為。例如：1. 當用戶嘗試訪問梯度並對其執行手動操作時，None 屬性或全零的 Tensor 會有不同的行為。2. 如果使用者請求 zero_grad(set_to_none=True) 後跟一個反向傳播（backward pass），則對於未接收到梯度的引數，.grad 保證為 None。3. torch.optim 最佳化器在梯度為 0 或 None 時有不同的行為（一種情況下，它會以梯度 0 執行步驟，另一種情況下，它會完全跳過該步驟）。

Adagrad¶

文件

教程

資源