Adadelta¶
- class torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0, foreach=None, *, capturable=False, maximize=False, differentiable=False)[source][source]¶
實現 Adadelta 演算法。
關於該演算法的更多詳細資訊，請參閱ADADELTA：一種自適應學習率方法。
- 引數
params (iterable) – 要最佳化的引數或具名引數（named_parameters）的可迭代物件，或者是定義引數組的字典的可迭代物件。使用具名引數時，所有引數組中的所有引數都應具有名稱。
lr (float, Tensor, optional) – 在應用於引數之前縮放 delta 的係數（預設值：1.0）。
rho (float, optional) – 用於計算平方梯度移動平均的係數（預設值：0.9）。rho 值越高，平均速度越慢，這有助於防止學習過程中的振盪。
eps (float, optional) – 新增到分母中的項，用於提高數值穩定性（預設值：1e-6）。
weight_decay (float, optional) – 權重衰減（L2懲罰）（預設值：0）。
foreach (bool, optional) – 是否使用最佳化器的 foreach 實現。如果使用者未指定（即 foreach 為 None），在 CUDA 上我們將嘗試使用 foreach 而非 for 迴圈實現，因為其效能通常顯著更高。請注意，由於中間結果是一個張量列表（tensorlist）而非單個張量，foreach 實現會比 for 迴圈版本多佔用大約 sizeof(params) 的峰值記憶體。如果記憶體限制較大，可以每次透過最佳化器處理較少的引數，或者將此標誌設定為 False（預設值：None）。
capturable (bool, optional) – 此例項是否可以在 CUDA 圖中安全捕獲。設定為 True 可能會影響非圖模式下的效能，因此如果您不打算進行圖捕獲，請將其保留為 False（預設值：False）。
maximize (bool, optional) – 相對於引數最大化目標函式，而不是最小化（預設值：False）。
differentiable (bool, optional) – 訓練過程中是否應透過最佳化器步進（step）進行自動微分（autograd）。否則，step() 函式將在 torch.no_grad() 上下文中執行。設定為 True 可能會影響效能，因此如果您不打算透過此例項執行自動微分，請將其保留為 False（預設值：False）。
- add_param_group(param_group)[source]¶
向
Optimizer的 param_groups 新增一個引數組。這在對預訓練網路進行微調時非常有用，因為可以將凍結層設為可訓練，並隨著訓練的進行將其新增到
Optimizer中。- 引數
param_group (dict) – 指定應最佳化的張量以及組特定的最佳化選項。
- load_state_dict(state_dict)[source]¶
載入最佳化器狀態。
- 引數
state_dict (dict) – 最佳化器狀態。應該是一個透過呼叫
state_dict()返回的物件。
注意
引數的名稱（如果它們存在於
state_dict()中每個引數組的“param_names”鍵下）不會影響載入過程。對於自定義情況（例如載入的狀態字典中的引數與最佳化器中初始化的引數不同）使用引數名稱時，應實現自定義的register_load_state_dict_pre_hook以相應地調整載入的字典。如果載入的狀態字典param_groups中存在param_names，它們將被儲存並覆蓋最佳化器狀態中當前存在的名稱（如果存在）。如果它們在載入的狀態字典中不存在，最佳化器的param_names將保持不變。
- register_load_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 後置鉤子，該鉤子將在呼叫
load_state_dict()之後被呼叫。它應具有以下簽名：hook(optimizer) -> None
optimizer引數是正在使用的最佳化器例項。鉤子將在對
self呼叫load_state_dict後，以引數self呼叫。註冊的鉤子可用於在load_state_dict載入state_dict後執行後處理。- 引數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置
hook將在所有已註冊的load_state_dict後置鉤子之前觸發。否則，提供的hook將在所有已註冊的後置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子。- 返回型別
torch.utils.hooks.RemoveableHandle
- register_load_state_dict_pre_hook(hook, prepend=False)[原始碼]¶
註冊一個 load_state_dict 前置鉤子，該鉤子將在呼叫
load_state_dict()之前被呼叫。它應具有以下簽名：hook(optimizer, state_dict) -> state_dict or None
optimizer引數是正在使用的最佳化器例項，state_dict引數是使用者傳遞給load_state_dict的state_dict的淺層副本。鉤子可以就地修改 state_dict，或選擇返回一個新的 state_dict。如果返回 state_dict，它將用於載入到最佳化器中。鉤子將在對
self呼叫load_state_dict之前，以引數self和state_dict呼叫。註冊的鉤子可用於在進行load_state_dict呼叫之前執行預處理。- 引數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的前置
hook將在所有已註冊的load_state_dict前置鉤子之前觸發。否則，提供的hook將在所有已註冊的前置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子。- 返回型別
torch.utils.hooks.RemoveableHandle
- register_state_dict_post_hook(hook, prepend=False)[原始碼]¶
註冊一個 state dict 後置鉤子，該鉤子將在呼叫
state_dict()之後被呼叫。它應具有以下簽名：
hook(optimizer, state_dict) -> state_dict or None
鉤子將在對
self生成state_dict後，以引數self和state_dict呼叫。鉤子可以就地修改 state_dict，或選擇返回一個新的 state_dict。註冊的鉤子可用於在返回state_dict之前對其執行後處理。- 引數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置
hook將在所有已註冊的state_dict後置鉤子之前觸發。否則，提供的hook將在所有已註冊的後置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子。- 返回型別
torch.utils.hooks.RemoveableHandle
- register_state_dict_pre_hook(hook, prepend=False)[原始碼]¶
註冊一個 state dict 前置鉤子，該鉤子將在呼叫
state_dict()之前被呼叫。它應具有以下簽名：
hook(optimizer) -> None
optimizer引數是正在使用的最佳化器例項。鉤子將在對self呼叫state_dict之前，以引數self呼叫。註冊的鉤子可用於在進行state_dict呼叫之前執行預處理。- 引數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的前置
hook將在所有已註冊的state_dict前置鉤子之前觸發。否則，提供的hook將在所有已註冊的前置鉤子之後觸發。（預設值：False）
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子。- 返回型別
torch.utils.hooks.RemoveableHandle
- register_step_post_hook(hook)[原始碼]¶
註冊一個最佳化器步長後置鉤子，該鉤子將在最佳化器步長後被呼叫。
它應具有以下簽名：
hook(optimizer, args, kwargs) -> None
optimizer引數是正在使用的最佳化器例項。- 引數
hook (Callable) – 要註冊的使用者定義鉤子。
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子。- 返回型別
torch.utils.hooks.RemovableHandle
- register_step_pre_hook(hook)[原始碼]¶
註冊一個最佳化器步長前置鉤子，該鉤子將在最佳化器步長前被呼叫。
它應具有以下簽名：
hook(optimizer, args, kwargs) -> None or modified args and kwargs
optimizer引數是正在使用的最佳化器例項。如果 args 和 kwargs 被前置鉤子修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。- 引數
hook (Callable) – 要註冊的使用者定義鉤子。
- 返回
一個控制代碼，可以透過呼叫
handle.remove()來移除新增的鉤子。- 返回型別
torch.utils.hooks.RemovableHandle
- state_dict()[原始碼]¶
將最佳化器的狀態以
dict的形式返回。它包含兩個條目：
state: 一個 Dict，儲存當前的最佳化狀態。其內容在不同的最佳化器類之間有所差異，但具有一些共同特性。例如，狀態按引數儲存，引數本身則不儲存。
state是一個字典，將引數 ID 對映到包含每個引數對應狀態的字典。
param_groups: 一個 List，包含所有引數組，其中每個引數組都是一個 Dict。每個引數組包含最佳化器特定的元資料，例如學習率和權重衰減，以及該組中引數的引數 ID 列表。如果引數組使用
named_parameters()初始化，則名稱內容也將儲存在 state dict 中。
注意：引數 ID 可能看起來像索引，但它們只是將狀態與 param_group 相關聯的 ID。從 state_dict 載入時，最佳化器將壓縮 param_group 的
params（整數 ID）和最佳化器的param_groups（實際的nn.Parameters），以便在不進行額外驗證的情況下匹配狀態。返回的 state dict 可能如下所示：
{ 'state': { 0: {'momentum_buffer': tensor(...), ...}, 1: {'momentum_buffer': tensor(...), ...}, 2: {'momentum_buffer': tensor(...), ...}, 3: {'momentum_buffer': tensor(...), ...} }, 'param_groups': [ { 'lr': 0.01, 'weight_decay': 0, ... 'params': [0] 'param_names' ['param0'] (optional) }, { 'lr': 0.001, 'weight_decay': 0.5, ... 'params': [1, 2, 3] 'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional) } ] }
- zero_grad(set_to_none=True)[原始碼]¶
重置所有經過最佳化的
torch.Tensor的梯度。- 引數
set_to_none (bool) – 不設定為零，而是將梯度設定為 None。這通常會降低記憶體佔用，並可適度提升效能。但是，它會改變某些行為。例如：1. 當用戶嘗試訪問梯度並對其執行手動操作時，None 屬性或全為 0 的 Tensor 會表現不同。2. 如果使用者請求
zero_grad(set_to_none=True)後執行反向傳播，對於未接收到梯度的引數，.grad保證為 None。3.torch.optim最佳化器在梯度為 0 或 None 時行為不同（前者會執行梯度為 0 的步長，後者會完全跳過該步）。
