Adam¶
- class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False, *, foreach=None, maximize=False, capturable=False, differentiable=False, fused=None, decoupled_weight_decay=False)[source][source]¶
實現了 Adam 演算法。
有關該演算法的更多詳細資訊，請參閱 Adam: A Method for Stochastic Optimization。
- 引數
params (iterable) – 要最佳化的引數的可迭代物件或命名引數的可迭代物件，或定義引數組的字典的可迭代物件。使用命名引數時，所有組中的所有引數都應命名
lr (float, Tensor, optional) – 學習率（預設值：1e-3）。並非所有實現都支援 Tensor 型別的學習率。如果您未同時指定 fused=True 或 capturable=True，請使用浮點數型別的學習率。
betas (Tuple[float, float], optional) – 用於計算梯度及其平方的執行平均值的係數（預設值：(0.9, 0.999)）
eps (float, optional) – 新增到分母中以提高數值穩定性的項（預設值：1e-8）
weight_decay (float, optional) – 權重衰減（L2 懲罰）（預設值：0）
decoupled_weight_decay (bool, optional) – 如果為 True，則此最佳化器等同於 AdamW，並且演算法不會在動量或方差中累積權重衰減。（預設值：False）
amsgrad (bool, optional) – 是否使用來自論文 On the Convergence of Adam and Beyond 的 AMSGrad 變體演算法（預設值：False）
foreach (bool, optional) – 是否使用最佳化器的 foreach 實現。如果使用者未指定（即 foreach 為 None），我們將在 CUDA 上嘗試使用 foreach 而非 for 迴圈實現，因為它通常效能顯著更高。請注意，foreach 實現比 for 迴圈實現使用大約 sizeof(params) 更多的峰值記憶體，因為中間結果是 TensorList 而不是單個 Tensor。如果記憶體受限，請每次透過最佳化器處理較少的引數，或者將此標誌設定為 False（預設值：None）
maximize (bool, optional) – 相對於引數最大化目標，而不是最小化（預設值：False）
capturable (bool, optional) – 此例項是否可以安全地在 CUDA 圖中捕獲。傳遞 True 可能會損害未圖化時的效能，因此如果您不打算捕獲此例項的圖，請將其保留為 False（預設值：False）
differentiable (bool, optional) – 訓練中是否透過最佳化器 step 發生自動求導。否則，step() 函式將在 torch.no_grad() 上下文中執行。設定為 True 可能會損害效能，因此如果您不打算透過此例項執行自動求導，請將其保留為 False（預設值：False）
fused (bool, optional) – 是否使用融合實現。目前支援 torch.float64、torch.float32、torch.float16 和 torch.bfloat16。（預設值：None）
注意
foreach 和 fused 實現通常比 for 迴圈的單 Tensor 實現更快，其中 fused 實現理論上在垂直和水平融合方面是最快的。因此，如果使用者未指定任何標誌（即 foreach = fused = None 時），當所有 Tensor 都在 CUDA 上時，我們將嘗試預設使用 foreach 實現。為什麼不使用 fused？由於 fused 實現相對較新，我們希望給予其足夠的驗證時間。要指定 fused，請為 fused 傳遞 True。要強制執行 for 迴圈實現，請為 foreach 或 fused 傳遞 False。
注意
MPS 版本的 Adam 和 AdamW 原型實現支援 torch.float32 和 torch.float16。
- add_param_group(param_group)[source]¶
向
Optimizer的 param_groups 新增引數組。這在微調預訓練網路時非常有用，因為凍結層可以變得可訓練，並在訓練過程中新增到
Optimizer中。- 引數
param_group (dict) – 指定應最佳化哪些 Tensor 以及組特定的最佳化選項。
- load_state_dict(state_dict)[source]¶
載入最佳化器狀態。
- 引數
state_dict (dict) – 最佳化器狀態。應為呼叫
state_dict()返回的物件。
注意
引數的名稱（如果它們存在於
state_dict()中每個引數組的“param_names”鍵下）不會影響載入過程。要在自定義情況下使用引數名稱（例如，載入的狀態字典中的引數與最佳化器中初始化的引數不同時），應實現自定義register_load_state_dict_pre_hook以相應地調整載入的字典。如果在載入的狀態字典的param_groups中存在param_names，它們將被儲存並覆蓋最佳化器狀態中（如果存在）當前的名稱。如果它們在載入的狀態字典中不存在，最佳化器的param_names將保持不變。
- register_load_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 後置鉤子，它將在呼叫
load_state_dict()後呼叫。它應具有以下簽名hook(optimizer) -> None
optimizer 引數是正在使用的最佳化器例項。
呼叫
self上的load_state_dict後，將以引數self呼叫此鉤子。註冊的鉤子可用於在load_state_dict載入state_dict後執行後處理。- 引數
hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，提供的後置
hook將在所有已註冊的load_state_dict後置鉤子之前觸發。否則，提供的hook將在所有已註冊的後置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子- 返回型別
torch.utils.hooks.RemoveableHandle
- register_load_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 前置鉤子，它將在呼叫
load_state_dict()之前呼叫。它應具有以下簽名hook(optimizer, state_dict) -> state_dict or None
optimizer 引數是正在使用的最佳化器例項，state_dict 引數是使用者傳遞給 load_state_dict 的 state_dict 的淺層副本。鉤子可以就地修改 state_dict，或者選擇返回一個新的 state_dict。如果返回 state_dict，它將被用於載入到最佳化器中。
在對
self呼叫load_state_dict之前，將以引數self和state_dict呼叫此鉤子。註冊的鉤子可用於在進行load_state_dict呼叫之前執行預處理。- 引數
hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，提供的後置
hook將在所有已註冊的load_state_dict前置鉤子之前觸發。否則，提供的hook將在所有已註冊的前置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子- 返回型別
torch.utils.hooks.RemoveableHandle
- register_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 state dict 後置鉤子，它將在呼叫
state_dict()後呼叫。它應具有以下簽名
hook(optimizer, state_dict) -> state_dict or None
在對
self生成state_dict後，將以引數self和state_dict呼叫此鉤子。鉤子可以就地修改 state_dict，或者選擇返回一個新的 state_dict。註冊的鉤子可用於在返回state_dict之前對其執行後處理。- 引數
hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，提供的後置
hook將在所有已註冊的state_dict後置鉤子之前觸發。否則，提供的hook將在所有已註冊的後置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子- 返回型別
torch.utils.hooks.RemoveableHandle
- register_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 state dict 前置鉤子，它將在呼叫
state_dict()之前呼叫。它應具有以下簽名
hook(optimizer) -> None
optimizer 引數是正在使用的最佳化器例項。在對
self呼叫state_dict之前，將以引數self呼叫此鉤子。註冊的鉤子可用於在進行state_dict呼叫之前執行預處理。- 引數
hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，提供的後置
hook將在所有已註冊的state_dict前置鉤子之前觸發。否則，提供的hook將在所有已註冊的前置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子- 返回型別
torch.utils.hooks.RemoveableHandle
- register_step_post_hook(hook)[source]¶
註冊一個最佳化器 step 後置鉤子，它將在最佳化器 step 後呼叫。
它應具有以下簽名
hook(optimizer, args, kwargs) -> None
optimizer 引數是正在使用的最佳化器例項。
- 引數
hook (Callable) – 要註冊的使用者定義的鉤子。
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子- 返回型別
torch.utils.hooks.RemovableHandle
- register_step_pre_hook(hook)[source]¶
註冊一個最佳化器 step 前置鉤子，它將在最佳化器 step 之前呼叫。
它應具有以下簽名
hook(optimizer, args, kwargs) -> None or modified args and kwargs
optimizer 引數是正在使用的最佳化器例項。如果 args 和 kwargs 被前置鉤子修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。
- 引數
hook (Callable) – 要註冊的使用者定義的鉤子。
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子- 返回型別
torch.utils.hooks.RemovableHandle
- state_dict()[source]¶
將最佳化器的狀態返回為一個
dict。它包含兩個條目
state: 一個 Dict，包含當前的最佳化狀態。其內容在不同的最佳化器類之間有所不同，但存在一些共同特徵。例如，狀態按引數儲存，而不儲存引數本身。
state是一個字典，將引數 ID 對映到包含每個引數對應狀態的 Dict。
param_groups: 一個 List，包含所有引數組，其中每個引數組是一個 Dict。每個引數組包含特定於最佳化器的元資料，例如學習率和權重衰減，以及組中引數的引數 ID 列表。如果引數組是使用
named_parameters()初始化的，則名稱內容也將儲存在狀態字典中。
注意：引數 ID 可能看起來像索引，但它們只是將狀態與引數組關聯起來的 ID。從 state_dict 載入時，最佳化器將把引數組
params（int ID）與最佳化器param_groups（實際的nn.Parameter）進行 zip 操作，以便匹配狀態，而無需額外驗證。返回的狀態字典可能看起來像這樣
{ 'state': { 0: {'momentum_buffer': tensor(...), ...}, 1: {'momentum_buffer': tensor(...), ...}, 2: {'momentum_buffer': tensor(...), ...}, 3: {'momentum_buffer': tensor(...), ...} }, 'param_groups': [ { 'lr': 0.01, 'weight_decay': 0, ... 'params': [0] 'param_names' ['param0'] (optional) }, { 'lr': 0.001, 'weight_decay': 0.5, ... 'params': [1, 2, 3] 'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional) } ] }
- step(closure=None)[source][source]¶
執行一次最佳化步驟。
- 引數
closure (Callable, optional) – 一個閉包，用於重新評估模型並返回損失。
- zero_grad(set_to_none=True)[source]¶
重置所有最佳化過的
torch.Tensor的梯度。- 引數
set_to_none (bool) – 而不是設定為零，將梯度設定為 None。這通常會降低記憶體佔用，並可適度提高效能。但是，它會改變某些行為。例如：1. 當用戶嘗試訪問梯度並對其執行手動操作時，None 屬性或充滿 0 的 Tensor 的行為會不同。2. 如果使用者請求
zero_grad(set_to_none=True)後跟著一個反向傳播，則未接收到梯度的引數的.grad將保證為 None。3. 如果梯度為 0 或 None，torch.optim最佳化器會有不同的行為（在前一種情況下，它會以梯度 0 執行步驟，在後一種情況下，它會完全跳過該步驟）。
