GAE¶
- class torchrl.objectives.value.GAE(*args, **kwargs)[source]¶
泛化優勢估計 (generalized advantage estimate) 函式的類包裝器。
請參考“HIGH-DIMENSIONAL CONTINUOUS CONTROL USING GENERALIZED ADVANTAGE ESTIMATION” https://arxiv.org/pdf/1506.02438.pdf 以獲取更多背景資訊。
- 引數:
gamma (標量) – 指數平均折扣。
lmbda (標量) – 軌跡折扣。
value_network (TensorDictModule) – 用於檢索值估計的價值運算元。
average_gae (布林值) – 如果為
True，結果 GAE 值將被標準化。預設值為False。differentiable (布林值, 可選) –
如果為
True，梯度將透過值函式的計算傳播。預設值為False。注意
使函式呼叫不可微的正確方法是在 torch.no_grad() 上下文管理器/裝飾器中裝飾它，或為函式模組傳遞分離的引數。
vectorized (布林值, 可選) – 是否使用 lambda 返回的向量化版本。如果未編譯，預設值為 True。
skip_existing (布林值, 可選) – 如果為
True，如果 tensordict 中已存在模組的輸出，值網路將跳過這些模組。預設值為None，即tensordict.nn.skip_existing()的值不受影響。預設值為“state_value”。advantage_key (字串 或 字串元組, 可選) – [已棄用] 優勢條目的鍵。預設值為
"advantage"。value_target_key (字串 或 字串元組, 可選) – [已棄用] 優勢條目的鍵。（原文如此，可能應為“價值目標條目的鍵”）預設值為
"value_target"。value_key (字串 或 字串元組, 可選) – [已棄用] 從輸入 tensordict 中讀取的值鍵。預設值為
"state_value"。shifted (布林值, 可選) – 如果為
True，則透過對值網路的一次呼叫來估計當前值和下一值。這更快，但僅在滿足以下條件時有效：(1)"next"值僅偏移一個時間步（例如，多步值估計則不是這種情況），並且 (2) 時間t和t+1使用的引數相同（使用目標引數時則不是這種情況）。預設值為False。device (torch.device, 可選) – 將例項化緩衝區的裝置。預設值為
torch.get_default_device()。time_dim (整數, 可選) – 輸入 tensordict 中對應時間的維度。如果未提供，則預設為標記有
"time"名稱的維度（如果存在），否則為最後一個維度。可以在呼叫value_estimate()時覆蓋。負維度是相對於輸入 tensordict 計算的。
GAE 將返回一個包含優勢值的
"advantage"條目。它還將返回一個"value_target"條目，其中包含用於訓練值網路的返回值。最後，如果gradient_mode為True，還將返回一個額外的、可微分的"value_error"條目，該條目僅代表返回值和值網路輸出之間的差異（即應對該帶符號值應用額外的距離損失）。注意
與其他優勢函式一樣，如果輸入 tensordict 中已存在
value_key，GAE 模組將忽略對值網路（如果存在）的呼叫，並使用提供的值。- forward(tensordict=None, *, params: List[Tensor] | None = None, target_params: List[Tensor] | None = None, time_dim: int | None = None)[source]¶
計算給定 tensordict 中資料的 GAE。
如果提供了函式式模組，可以將包含引數（以及相關的目標引數）的巢狀 TensorDict 傳遞給該模組。
- 引數:
tensordict (TensorDictBase) – 一個 TensorDict，包含計算值估計和 GAE 所需的資料（一個觀察鍵，
"action"，("next", "reward")，("next", "done")，("next", "terminated")，以及環境返回的"next"tensordict 狀態）。傳遞給此模組的資料應結構化為[*B, T, *F]，其中B是批次大小，T是時間維度，F是特徵維度。tensordict 的形狀必須為[*B, T]。- 關鍵字引數:
params (TensorDictBase, 可選) – 一個巢狀的 TensorDict，包含要傳遞給函式式值網路模組的引數。
target_params (TensorDictBase, 可選) – 一個巢狀的 TensorDict，包含要傳遞給函式式值網路模組的目標引數。
time_dim (整數, 可選) – 輸入 tensordict 中對應時間的維度。如果未提供，則預設為標記有
"time"名稱的維度（如果存在），否則為最後一個維度。負維度是相對於輸入 tensordict 計算的。
- 返回:
一個更新後的 TensorDict，包含建構函式中定義的 advantage 和 value_error 鍵。
示例
>>> from tensordict import TensorDict >>> value_net = TensorDictModule( ... nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"] ... ) >>> module = GAE( ... gamma=0.98, ... lmbda=0.94, ... value_network=value_net, ... differentiable=False, ... ) >>> obs, next_obs = torch.randn(2, 1, 10, 3) >>> reward = torch.randn(1, 10, 1) >>> done = torch.zeros(1, 10, 1, dtype=torch.bool) >>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool) >>> tensordict = TensorDict({"obs": obs, "next": {"obs": next_obs}, "done": done, "reward": reward, "terminated": terminated}, [1, 10]) >>> _ = module(tensordict) >>> assert "advantage" in tensordict.keys()
該模組也支援非 tensordict（即解包的 tensordict）輸入。
示例
>>> value_net = TensorDictModule( ... nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"] ... ) >>> module = GAE( ... gamma=0.98, ... lmbda=0.94, ... value_network=value_net, ... differentiable=False, ... ) >>> obs, next_obs = torch.randn(2, 1, 10, 3) >>> reward = torch.randn(1, 10, 1) >>> done = torch.zeros(1, 10, 1, dtype=torch.bool) >>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool) >>> advantage, value_target = module(obs=obs, next_reward=reward, next_done=done, next_obs=next_obs, next_terminated=terminated)
- value_estimate(tensordict, params: TensorDictBase | None = None, target_params: TensorDictBase | None = None, time_dim: int | None = None, **kwargs)[source]¶
獲取值估計，通常用作值網路的目標值。
如果狀態值鍵存在於
tensordict.get(("next", self.tensor_keys.value))下，則將直接使用此值，而無需呼叫值網路。- 引數:
tensordict (TensorDictBase) – 包含要讀取的資料的 tensordict。
target_params (TensorDictBase, 可選) – 一個巢狀的 TensorDict，包含要傳遞給函式式值網路模組的目標引數。
next_value (torch.Tensor, 可選) – 下一個狀態或狀態-動作對的值。與
target_params互斥。**kwargs – 要傳遞給值網路的關鍵字引數。
返回: 對應於狀態值的張量。
