ASGD¶

class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0, foreach=None, maximize=False, differentiable=False, capturable=False)[source][source]¶

實現平均隨機梯度下降。

它在 Acceleration of stochastic approximation by averaging 一文中被提出。

引數

params (iterable) – 可迭代物件，包含要最佳化的引數或命名引數，或包含定義引數組的字典的可迭代物件。使用命名引數時，所有組中的所有引數都應具有名稱
lr (float, Tensor, optional) – 學習率 (預設值: 1e-2)
lambd (float, optional) – 衰減項 (預設值: 1e-4)
alpha (float, optional) – eta 更新的冪次方 (預設值: 0.75)
t0 (float, optional) – 開始平均的點 (預設值: 1e6)
weight_decay (float, optional) – 權重衰減 (L2 正則化) (預設值: 0)
foreach (bool, optional) – 是否使用最佳化器的 foreach 實現。如果使用者未指定 (即 foreach 為 None)，我們將嘗試在 CUDA 上使用 foreach 實現而非 for-loop 實現，因為它通常效能顯著更優。請注意，由於中間結果是一個 tensorlist 而不是單個張量，foreach 實現比 for-loop 版本佔用大約 sizeof(params) 更多的峰值記憶體。如果記憶體受限，請每次透過最佳化器批次處理較少的引數，或將此標誌切換為 False (預設值: None)
maximize (bool, optional) – 相對於引數最大化目標函式，而不是最小化 (預設值: False)
differentiable (bool, optional) – 訓練過程中是否應該透過最佳化器步驟進行自動微分。否則，step() 函式將在 torch.no_grad() 上下文下執行。設定為 True 可能會影響效能，因此如果您不打算透過此例項執行自動微分，請將其保留為 False (預設值: False)
capturable (bool, optional) – 此例項是否可以在 CUDA 圖中安全捕獲。傳遞 True 可能會影響未圖化的效能，因此如果您不打算圖捕獲此例項，請將其保留為 False (預設值: False)

add_param_group(param_group)[source]¶

向 Optimizer 的 param_groups 新增一個引數組。

這在微調預訓練網路時很有用，因為凍結的層可以設定為可訓練，並在訓練進行時新增到 Optimizer 中。

引數: param_group (dict) – 指定應最佳化的張量以及組特定的最佳化選項。

load_state_dict(state_dict)[source]¶

載入最佳化器狀態。

引數: state_dict (dict) – 最佳化器狀態。應為呼叫 state_dict() 返回的物件。

注意

引數的名稱（如果它們存在於 state_dict() 中每個引數組的“param_names”鍵下）不會影響載入過程。要在自定義情況下使用引數名稱（例如，載入的狀態字典中的引數與最佳化器中初始化的引數不同），應實現自定義的 register_load_state_dict_pre_hook 來相應地調整載入的字典。如果載入的狀態字典 param_groups 中存在 param_names，它們將被儲存並覆蓋最佳化器狀態中當前存在的名稱。如果它們不存在於載入的狀態字典中，最佳化器的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 後置鉤子，它將在呼叫 load_state_dict() 之後被呼叫。它應該具有以下簽名

hook(optimizer) -> None

optimizer 引數是正在使用的最佳化器例項。

在呼叫 load_state_dict 後，將以 self 作為引數呼叫該鉤子。註冊的鉤子可用於在 load_state_dict 載入 state_dict 後執行後處理。

引數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在所有已註冊的 load_state_dict 後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值: False)

返回

一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 前置鉤子，它將在呼叫 load_state_dict() 之前被呼叫。它應該具有以下簽名

hook(optimizer, state_dict) -> state_dict or None

optimizer 引數是正在使用的最佳化器例項，state_dict 引數是使用者傳遞給 load_state_dict 的 state_dict 的淺複製。鉤子可以就地修改 state_dict 或可選地返回一個新的。如果返回一個 state_dict，它將被用於載入到最佳化器中。

在呼叫 load_state_dict 的 self 之前，將以 self 和 state_dict 作為引數呼叫該鉤子。註冊的鉤子可用於在呼叫 load_state_dict 之前執行預處理。



引數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 將在所有已註冊的 load_state_dict 前置鉤子之前觸發。否則，提供的前置 hook 將在所有已註冊的前置鉤子之後觸發。(預設值: False)


返回
一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別
torch.utils.hooks.RemoveableHandle





register_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 state dict 後置鉤子，它將在呼叫 state_dict() 之後被呼叫。
它應該具有以下簽名
hook(optimizer, state_dict) -> state_dict or None


在生成 self 的 state_dict 後，將以 self 和 state_dict 作為引數呼叫該鉤子。鉤子可以就地修改 state_dict 或可選地返回一個新的。註冊的鉤子可用於在返回 state_dict 之前對其執行後處理。

引數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在所有已註冊的 state_dict 後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值: False)


返回
一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別
torch.utils.hooks.RemoveableHandle






register_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 state dict 前置鉤子，它將在呼叫 state_dict() 之前被呼叫。
它應該具有以下簽名
hook(optimizer) -> None


optimizer 引數是正在使用的最佳化器例項。在呼叫 state_dict 的 self 之前，將以 self 作為引數呼叫該鉤子。註冊的鉤子可用於在呼叫 state_dict 之前執行預處理。

引數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 將在所有已註冊的 state_dict 前置鉤子之前觸發。否則，提供的前置 hook 將在所有已註冊的前置鉤子之後觸發。(預設值: False)


返回
一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別
torch.utils.hooks.RemoveableHandle






register_step_post_hook(hook)[source]¶
註冊一個最佳化器步驟後置鉤子，它將在最佳化器步驟之後被呼叫。
它應該具有以下簽名
hook(optimizer, args, kwargs) -> None


optimizer 引數是正在使用的最佳化器例項。

引數
hook (Callable) – 要註冊的使用者定義鉤子。

返回
一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別
torch.utils.hooks.RemovableHandle






register_step_pre_hook(hook)[source]¶
註冊一個最佳化器步驟前置鉤子，它將在最佳化器步驟之前被呼叫。
它應該具有以下簽名
hook(optimizer, args, kwargs) -> None or modified args and kwargs


optimizer 引數是正在使用的最佳化器例項。如果 args 和 kwargs 被前置鉤子修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。

引數
hook (Callable) – 要註冊的使用者定義鉤子。

返回
一個控制代碼，透過呼叫 handle.remove() 可以移除新增的鉤子

返回型別
torch.utils.hooks.RemovableHandle






state_dict()[source]¶
將最佳化器的狀態作為 dict 返回。
它包含兩個條目


state: 一個 Dict，儲存當前的最佳化狀態。其內容
在不同的最佳化器類之間有所不同，但有一些共同特徵。例如，狀態是按引數儲存的，引數本身不儲存。state 是一個字典，將引數 ID 對映到包含與每個引數相對應的狀態的字典。




param_groups: 一個 List，包含所有引數組，其中每個
引數組都是一個 Dict。每個引數組都包含最佳化器特定的元資料，例如學習率和權重衰減，以及組中引數的引數 ID 列表。如果引數組是使用 named_parameters() 初始化的，則名稱內容也將儲存在狀態字典中。




注意：引數 ID 可能看起來像索引，但它們只是將狀態與 param_group 關聯起來的 ID。從狀態字典載入時，最佳化器將壓縮引數組的 params（整數 ID）和最佳化器的 param_groups（實際的 nn.Parameter），以便在沒有額外驗證的情況下匹配狀態。
返回的狀態字典可能看起來像
{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}



返回型別
dict[str, Any]






step(closure=None)[source][source]¶
執行一個最佳化步驟。

引數
closure (Callable, optional) – 一個閉包，用於重新評估模型並返回損失。






zero_grad(set_to_none=True)[source]¶
重置所有最佳化的 torch.Tensor 的梯度。

引數
set_to_none (bool) – 將梯度設定為 None，而不是設定為零。這通常會降低記憶體佔用，並可適度提高效能。但是，它會改變某些行為。例如：1. 當用戶嘗試訪問梯度並對其執行手動操作時，None 屬性或填充 0 的 Tensor 將表現不同。2. 如果使用者請求 zero_grad(set_to_none=True) 後緊跟反向傳播，則對於未接收到梯度的引數，其 .grad 保證為 None。3. torch.optim 最佳化器在梯度為 0 或 None 時表現不同（一種情況是使用梯度 0 執行步驟，另一種情況是完全跳過步驟）。

ASGD¶

文件

教程

資源