Adamax¶

class torch.optim.Adamax(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, foreach=None, *, maximize=False, differentiable=False, capturable=False)[source][source]¶

實現 Adamax 演算法（基於無窮範數的 Adam 變體）。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (學習率)}, \beta_1, \beta_2 \text{ (beta 引數)},\theta_0 \text{ (引數)},f(\theta) \text{ (目標函式)}, \: \lambda \text{ (權重衰減)}, \\ &\hspace{13mm} \epsilon \text{ (epsilon)} \\ &\textbf{initialize} : m_0 \leftarrow 0 \text{ ( 一階矩)}, u_0 \leftarrow 0 \text{ ( 無窮範數)} \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}if \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}m_t \leftarrow \beta_1 m_{t-1} + (1 - \beta_1) g_t \\ &\hspace{5mm}u_t \leftarrow \mathrm{max}(\beta_2 u_{t-1}, |g_{t}|+\epsilon) \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1} - \frac{\gamma m_t}{(1-\beta^t_1) u_t} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

有關演算法的更多詳細資訊，請參閱 Adam: A Method for Stochastic Optimization。

引數

params (可迭代物件) – 要最佳化的引數的可迭代物件或命名引數的可迭代物件，或者定義引數組的字典的可迭代物件。使用命名引數時，所有組中的所有引數應被命名
lr (浮點數, Tensor, 可選) – 學習率 (預設值: 2e-3)
betas (Tuple[浮點數, 浮點數], 可選) – 用於計算梯度及其平方的執行平均值的係數
eps (浮點數, 可選) – 新增到分母中以提高數值穩定性的項 (預設值: 1e-8)
weight_decay (浮點數, 可選) – 權重衰減 (L2 懲罰) (預設值: 0)
foreach (bool, 可選) – 是否使用最佳化器的 foreach 實現。如果使用者未指定 (即 foreach 為 None)，在 CUDA 上我們將嘗試使用 foreach 實現而非 for-loop 實現，因為它通常效能明顯更好。請注意，foreach 實現比 for-loop 版本使用約 sizeof(params) 更多的峰值記憶體，因為中間量是 tensor list 而不是單個 tensor。如果記憶體受限，請每次透過最佳化器處理更少的引數批次，或者將此標誌設定為 False (預設值: None)
maximize (bool, 可選) – 相對於引數最大化目標函式，而不是最小化 (預設值: False)
differentiable (bool, 可選) – 在訓練中是否允許 autograd 透過最佳化器步進發生。否則，step() 函式將在 torch.no_grad() 上下文中執行。設定為 True 會影響效能，如果你不打算透過此例項執行 autograd，請將其保留為 False (預設值: False)
capturable (bool, 可選) – 此例項是否安全地可在 CUDA 圖中捕獲。傳遞 True 會影響非圖捕獲的效能，如果你不打算捕獲此例項圖，請將其保留為 False (預設值: False)

add_param_group(param_group)[source]¶

向 Optimizer 的 param_groups 中新增引數組。

在微調預訓練網路時這很有用，因為凍結的層可以變得可訓練並在訓練進行中新增到 Optimizer 中。

引數: param_group (dict) – 指定應該最佳化哪些 Tensors 以及組特定的最佳化選項。

load_state_dict(state_dict)[source]¶

載入最佳化器狀態。

引數: state_dict (dict) – 最佳化器狀態。應該是一個透過呼叫 state_dict() 返回的物件。

注意

引數名稱 (如果存在於 state_dict() 返回的每個引數組的“param_names”鍵下) 不會影響載入過程。對於自定義情況 (例如載入的狀態字典中的引數與最佳化器中初始化的引數不同)，應實現自定義的 register_load_state_dict_pre_hook 以相應地調整載入的字典。如果載入的狀態字典的 param_groups 中存在 param_names，它們將被儲存並覆蓋最佳化器狀態中當前的名稱 (如果存在)。如果載入的狀態字典中不存在，則最佳化器的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個載入狀態字典後置鉤子，該鉤子將在呼叫 load_state_dict() 後呼叫。它應該具有以下簽名

hook(optimizer) -> None

optimizer 引數是正在使用的最佳化器例項。

呼叫 self 的 load_state_dict 後，該鉤子將使用引數 self 被呼叫。註冊的鉤子可用於在 load_state_dict 載入 state_dict 後執行後處理。

引數

hook (Callable) – 使用者定義的要註冊的鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在所有已註冊的 load_state_dict 後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值: False)。

返回

一個控制代碼，透過呼叫 handle.remove() 可以用來移除新增的鉤子。

返回型別

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個載入狀態字典前置鉤子，該鉤子將在呼叫 load_state_dict() 前呼叫。它應該具有以下簽名

hook(optimizer, state_dict) -> state_dict or None

optimizer 引數是正在使用的最佳化器例項，而 state_dict 引數是使用者傳遞給 load_state_dict 的 state_dict 的淺複製。鉤子可以原地修改 state_dict，或者選擇返回一個新的 state_dict。如果返回了 state_dict，它將被用於載入到最佳化器中。

呼叫 self 的 load_state_dict 前，該鉤子將使用引數 self 和 state_dict 被呼叫。註冊的鉤子可用於在呼叫 load_state_dict 前執行預處理。

引數

hook (Callable) – 使用者定義的要註冊的鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 將在所有已註冊的 load_state_dict 前置鉤子之前觸發。否則，提供的前置 hook 將在所有已註冊的前置鉤子之後觸發。(預設值: False)。

返回

一個控制代碼，透過呼叫 handle.remove() 可以用來移除新增的鉤子。

返回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個狀態字典後置鉤子，該鉤子將在呼叫 state_dict() 後呼叫。

它應該具有以下簽名

hook(optimizer, state_dict) -> state_dict or None

在為 self 生成 state_dict 後，該鉤子將使用引數 self 和 state_dict 被呼叫。鉤子可以原地修改 state_dict，或者選擇返回一個新的 state_dict。註冊的鉤子可用於在 state_dict 返回前對其執行後處理。

引數

hook (Callable) – 使用者定義的要註冊的鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在所有已註冊的 state_dict 後置鉤子之前觸發。否則，提供的後置 hook 將在所有已註冊的後置鉤子之後觸發。(預設值: False)。

返回

一個控制代碼，透過呼叫 handle.remove() 可以用來移除新增的鉤子。

返回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個狀態字典前置鉤子，該鉤子將在呼叫 state_dict() 前呼叫。

它應該具有以下簽名

hook(optimizer) -> None

呼叫 self 的 state_dict 前，該鉤子將使用引數 self 被呼叫。註冊的鉤子可用於在呼叫 state_dict 前執行預處理。

引數

hook (Callable) – 使用者定義的要註冊的鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 將在所有已註冊的 state_dict 前置鉤子之前觸發。否則，提供的前置 hook 將在所有已註冊的前置鉤子之後觸發。(預設值: False)。

返回

一個控制代碼，透過呼叫 handle.remove() 可以用來移除新增的鉤子。

返回型別

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[source]¶

註冊一個最佳化器步進後置鉤子，該鉤子將在最佳化器步進後呼叫。

它應該具有以下簽名

hook(optimizer, args, kwargs) -> None

optimizer 引數是正在使用的最佳化器例項。

引數: hook (Callable) – 使用者定義的要註冊的鉤子。
返回: 一個控制代碼，透過呼叫 handle.remove() 可以用來移除新增的鉤子。
返回型別: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[source]¶

註冊一個最佳化器步進前置鉤子，該鉤子將在最佳化器步進前呼叫。

它應該具有以下簽名

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 引數是正在使用的最佳化器例項。如果 args 和 kwargs 被前置鉤子修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。

引數: hook (Callable) – 使用者定義的要註冊的鉤子。
返回: 一個控制代碼，透過呼叫 handle.remove() 可以用來移除新增的鉤子。
返回型別: torch.utils.hooks.RemovableHandle

state_dict()[source]¶

返回最佳化器狀態，格式為 dict。

它包含兩個條目

state: 一個 Dict，包含當前的最佳化狀態。
其內容因不同的最佳化器類而異，但有一些共同點。例如，狀態是按引數儲存的，但引數本身不被儲存。state 是一個將引數 ID 對映到包含對應引數狀態的 Dict。
param_groups: 一個 List，包含所有引數組。
每個引數組都是一個 Dict。每個引數組包含特定於最佳化器的元資料，例如學習率和權重衰減，以及該組中引數的 ID 列表。如果引數組是使用 named_parameters() 初始化的，則名稱內容也會儲存在狀態字典中。

注意：引數 ID 可能看起來像索引，但它們只是關聯狀態和 param_group 的 ID。從狀態字典載入時，最佳化器會將 param_group 的 params (int ID) 與最佳化器的 param_groups (實際的 nn.Parameter) 進行壓縮 (zip) 以匹配狀態，而無需額外驗證。

返回的狀態字典可能看起來像

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

返回型別: dict[str, Any]

step(closure=None)[source][source]¶

執行單個最佳化步進。

引數: closure (Callable, 可選) – 一個閉包，重新評估模型並返回損失。

zero_grad(set_to_none=True)[source]¶

重置所有最佳化的 torch.Tensor 的梯度。

引數: set_to_none (bool) – 將梯度設定為 None 而不是設定為零。這通常會佔用更少的記憶體，並適度提高效能。但是，它會改變某些行為。例如：1. 當用戶嘗試訪問梯度並對其執行手動操作時，None 屬性或填充 0 的 Tensor 會有不同的行為。2. 如果使用者請求 zero_grad(set_to_none=True) 後進行反向傳播，對於未接收到梯度的引數，.grad 將保證為 None。3. torch.optim 最佳化器在梯度為 0 或 None 時有不同的行為 (在前一種情況下它會以 0 梯度進行步進，而在後一種情況下它會完全跳過步進)。

Adamax¶

文件

教程

資源