RAdam¶
- class torch.optim.RAdam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, decoupled_weight_decay=False, *, foreach=None, maximize=False, capturable=False, differentiable=False)[source][source]¶
實現 RAdam 演算法。
有關演算法的更多詳細資訊，請參閱 On the variance of the adaptive learning rate and beyond。
此實現提供了一個選項，可以使用 Adam 中原生的 weight_decay 實現（weight_decay 應用於梯度），或者透過 decoupled_weight_decay 選項使用 AdamW 中的 weight_decay 實現（weight_decay 應用於權重）。當 decoupled_weight_decay 設定為 False（預設）時，它使用原始的 Adam 風格 weight decay；否則，它使用 AdamW 風格的 weight decay，這與 RAdam 論文中的作者實現更接近。有關解耦 weight decay 的更多資訊，請參見 Decoupled Weight Decay Regularization。
- 引數
params (iterable) – 要最佳化的引數或命名引數的迭代器，或者定義引數組的字典的迭代器。使用命名引數時，所有組中的所有引數都應已命名。
betas (Tuple[float, float], optional) – 用於計算梯度及其平方的執行平均值的係數 (預設值: (0.9, 0.999))
eps (float, optional) – 新增到分母以提高數值穩定性的項 (預設值: 1e-8)
weight_decay (float, optional) – 權重衰減 (L2 範數懲罰) (預設值: 0)
decoupled_weight_decay (bool, optional) – 是否像 AdamW 中那樣解耦 weight decay 以獲得 RAdamW。如果為 True，演算法將不在動量或方差中累積 weight decay。(預設值: False)
foreach (bool, optional) – 是否使用最佳化器的 foreach 實現。如果使用者未指定 (即 foreach 為 None)，我們將嘗試在 CUDA 上使用 foreach 而不是 for-loop 實現，因為它通常效能顯著更高。請注意，由於中間變數是 tensor list 而不是單個 tensor，foreach 實現比 for-loop 版本多佔用約 sizeof(params) 的峰值記憶體。如果記憶體不足，請每次透過最佳化器處理較少的引數，或將此標誌切換為 False (預設值: None)
maximize (bool, optional) – 相對於引數最大化目標函式，而不是最小化 (預設值: False)
capturable (bool, optional) – 此例項是否可以在 CUDA 圖中安全捕獲。傳入 True 可能會損害非圖捕獲的效能，因此如果您不打算圖捕獲此例項，請將其保留為 False (預設值: False)
differentiable (bool, optional) – 在訓練過程中，是否透過最佳化器 step 進行 autograd。否則，
step()函式在torch.no_grad()上下文下執行。設定為 True 可能會損害效能，因此如果您不打算透過此例項執行 autograd，請將其保留為 False (預設值: False)
- add_param_group(param_group)[source]¶
向
Optimizer的 param_groups 新增一個引數組。這在微調預訓練網路時非常有用，因為可以在訓練過程中將凍結的層設為可訓練並新增到
Optimizer。- 引數
param_group (dict) – 指定哪些 Tensor 應該被最佳化以及組特定的最佳化選項。
- load_state_dict(state_dict)[source]¶
載入最佳化器狀態。
- 引數
state_dict (dict) – 最佳化器狀態。應是呼叫
state_dict()返回的物件。
注意
引數的名稱（如果它們存在於
state_dict()中每個引數組的 “param_names” 鍵下）不會影響載入過程。要將引數名稱用於自定義情況（例如載入的狀態字典中的引數與最佳化器中初始化的引數不同時），應實現一個自定義的register_load_state_dict_pre_hook以相應調整載入的字典。如果載入的狀態字典param_groups中存在param_names，它們將被儲存並覆蓋最佳化器狀態中當前的名稱（如果存在）。如果載入的狀態字典中不存在param_names，則最佳化器的param_names將保持不變。
- register_load_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 後置 hook，它將在呼叫
load_state_dict()後被呼叫。它應該具有以下簽名hook(optimizer) -> None
optimizer引數是正在使用的最佳化器例項。hook 將在呼叫
load_state_dict在self上後，以引數self呼叫。註冊的 hook 可用於在load_state_dict載入完state_dict後執行後處理。- 引數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend (bool) – 如果為 True，提供的後置
hook將在所有已註冊的 load_state_dict 後置 hook 之前觸發。否則，提供的hook將在所有已註冊的後置 hook 之後觸發。(預設值: False)
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的 hook- 返回型別
torch.utils.hooks.RemoveableHandle
- register_load_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 前置 hook，它將在呼叫
load_state_dict()前被呼叫。它應該具有以下簽名hook(optimizer, state_dict) -> state_dict or None
optimizer引數是正在使用的最佳化器例項，state_dict引數是使用者傳遞給load_state_dict的state_dict的淺複製。hook 可以原地修改 state_dict，或者可選地返回一個新的 state_dict。如果返回了 state_dict，它將用於載入到最佳化器中。hook 將在呼叫
load_state_dict在self上前，以引數self和state_dict呼叫。註冊的 hook 可用於在呼叫load_state_dict前執行預處理。- 引數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend (bool) – 如果為 True，提供的前置
hook將在所有已註冊的 load_state_dict 前置 hook 之前觸發。否則，提供的前置hook將在所有已註冊的前置 hook 之後觸發。(預設值: False)
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的 hook- 返回型別
torch.utils.hooks.RemoveableHandle
- register_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 state dict 後置 hook，它將在呼叫
state_dict()後被呼叫。它應該具有以下簽名
hook(optimizer, state_dict) -> state_dict or None
在
self上生成state_dict後，hook 將以引數self和state_dict呼叫。hook 可以原地修改 state_dict，或者可選地返回一個新的 state_dict。註冊的 hook 可用於在返回state_dict前執行後處理。- 引數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend (bool) – 如果為 True，提供的後置
hook將在所有已註冊的 state_dict 後置 hook 之前觸發。否則，提供的後置hook將在所有已註冊的後置 hook 之後觸發。(預設值: False)
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的 hook- 返回型別
torch.utils.hooks.RemoveableHandle
- register_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 state dict 前置 hook，它將在呼叫
state_dict()前被呼叫。它應該具有以下簽名
hook(optimizer) -> None
optimizer引數是正在使用的最佳化器例項。在self上呼叫state_dict前，hook 將以引數self呼叫。註冊的 hook 可用於在呼叫state_dict前執行預處理。- 引數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend (bool) – 如果為 True，提供的前置
hook將在所有已註冊的 state_dict 前置 hook 之前觸發。否則，提供的前置hook將在所有已註冊的前置 hook 之後觸發。(預設值: False)
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的 hook- 返回型別
torch.utils.hooks.RemoveableHandle
- register_step_post_hook(hook)[source]¶
註冊一個最佳化器 step 後置 hook，它將在最佳化器 step 後被呼叫。
它應該具有以下簽名
hook(optimizer, args, kwargs) -> None
optimizer引數是正在使用的最佳化器例項。- 引數
hook (Callable) – 要註冊的使用者定義的 hook。
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的 hook- 返回型別
torch.utils.hooks.RemovableHandle
- register_step_pre_hook(hook)[source]¶
註冊一個最佳化器 step 前置 hook，它將在最佳化器 step 前被呼叫。
它應該具有以下簽名
hook(optimizer, args, kwargs) -> None or modified args and kwargs
optimizer引數是正在使用的最佳化器例項。如果 args 和 kwargs 被前置 hook 修改，則將轉換後的值作為包含 new_args 和 new_kwargs 的元組返回。- 引數
hook (Callable) – 要註冊的使用者定義的 hook。
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的 hook- 返回型別
torch.utils.hooks.RemovableHandle
- state_dict()[source]¶
以
dict的形式返回最佳化器的狀態。它包含兩個條目
state: 一個 Dict，儲存當前的最佳化狀態。其內容因最佳化器類而異，但有一些共同特徵。例如，狀態是按引數儲存的，而引數本身不被儲存。
state是一個 Dictionary，將引數 ID 對映到包含與每個引數對應的狀態的 Dict。
param_groups: 一個 List，包含所有引數組，其中每個引數組是一個 Dict。每個引數組包含特定於最佳化器的元資料，例如學習率和權重衰減，以及該組中引數的引數 ID 列表。如果引數組是使用
named_parameters()初始化的，則名稱內容也會儲存在狀態字典中。
注意：引數 ID 可能看起來像索引，但它們只是將狀態與 param_group 關聯的 ID。從 state_dict 載入時，最佳化器將打包 param_group
params(整型 ID) 和最佳化器param_groups(實際的nn.Parameter) 以匹配狀態，無需額外驗證。返回的狀態字典可能看起來像
{ 'state': { 0: {'momentum_buffer': tensor(...), ...}, 1: {'momentum_buffer': tensor(...), ...}, 2: {'momentum_buffer': tensor(...), ...}, 3: {'momentum_buffer': tensor(...), ...} }, 'param_groups': [ { 'lr': 0.01, 'weight_decay': 0, ... 'params': [0] 'param_names' ['param0'] (optional) }, { 'lr': 0.001, 'weight_decay': 0.5, ... 'params': [1, 2, 3] 'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional) } ] }
- zero_grad(set_to_none=True)[source]¶
重置所有最佳化的
torch.Tensor的梯度。- 引數
set_to_none (bool) – 將梯度設定為 None 而不是設定為零。這通常會降低記憶體佔用，並適度提高效能。但是，它會改變某些行為。例如：1. 當用戶嘗試訪問梯度並對其執行手動操作時，None 屬性與全零的 Tensor 行為不同。2. 如果使用者請求
zero_grad(set_to_none=True)後接著反向傳播，則對於未接收梯度的引數，.grad保證為 None。3.torch.optim最佳化器在梯度為 0 或 None 時行為不同（一種情況下使用梯度 0 執行 step，另一種情況下完全跳過 step）。
