PPOLoss¶

class torchrl.objectives.PPOLoss(*args, **kwargs)[source]¶

一個父類 PPO 損失函式類。

PPO（Proximal Policy Optimization，近端策略最佳化）是一種無模型、線上的強化學習演算法，它利用記錄的（批次）軌跡執行多次最佳化步驟，同時積極防止更新後的策略與其原始引數配置偏離過多。

PPO 損失函式有不同的變體，取決於其約束最佳化實現方式：ClipPPOLoss 和 KLPENPPOLoss。與它的子類不同，這個類沒有實現任何正則化，因此應該謹慎使用。

有關 PPO 的更多詳情，請參閱：“Proximal Policy Optimization Algorithms”，https://arxiv.org/abs/1707.06347

引數：

actor_network (ProbabilisticTensorDictSequential) – 策略運算元。通常是一個 ProbabilisticTensorDictSequential 子類，它將觀察作為輸入，並輸出一個動作（或多個動作）及其對數機率值。
critic_network (ValueOperator) – 值函式運算元。評論家通常將觀察作為輸入，並在輸出鍵中返回一個標量值（預設為 state_value）。

關鍵字引數：

entropy_bonus (bool, optional) – 如果 True，則會將熵獎勵新增到損失函式中，以鼓勵探索性策略。
samples_mc_entropy (int, optional) – 如果從策略運算元獲得的分佈沒有熵的閉式公式，則將使用蒙特卡洛估計。samples_mc_entropy 將控制用於計算此估計的樣本數量。預設為 1。
entropy_coef (scalar, optional) – 計算總損失時熵的乘數。預設為 0.01。
critic_coef (scalar, optional) – 計算總損失時評論家損失的乘數。預設為 1.0。將 critic_coef 設定為 None 以將值損失從前向輸出中排除。
loss_critic_type (str, optional) – 用於值差異的損失函式。可以是“l1”、“l2”或“smooth_l1”之一。預設為 "smooth_l1"。
normalize_advantage (bool, optional) – 如果 True，則在使用優勢值之前會對其進行歸一化。預設為 False。
normalize_advantage_exclude_dims (Tuple[int], optional) – 從優勢值標準化中排除的維度。負維度是有效的。這在多智慧體（或多目標）設定中很有用，其中智慧體（或目標）維度可以從降維中排除。預設值：()。
separate_losses (bool, optional) – 如果 True，則策略和評論家之間的共享引數將僅根據策略損失進行訓練。預設為 False，即梯度會同時傳播到策略損失和評論家損失的共享引數。
advantage_key (str, optional) – [已棄用，請改用 set_keys(advantage_key=advantage_key)] 輸入 tensordict 中期望寫入優勢值的鍵。預設為 "advantage"。
value_target_key (str, optional) – [已棄用，請改用 set_keys(value_target_key=value_target_key)] 輸入 tensordict 中期望寫入目標狀態值的鍵。預設為 "value_target"。
value_key (str, optional) – [已棄用，請改用 set_keys(value_key) 代替] 輸入 tensordict 中期望寫入狀態值的鍵。預設為 "state_value"。
functional (bool, optional) – 模組是否應進行函式式化。函式式化允許元強化學習等特性，但使得無法使用分散式模型（DDP、FSDP 等）並帶來一些開銷。預設為 True。
reduction (str, optional) – 指定應用於輸出的降維方式：“none” | “mean” | “sum”。“none”：不應用降維，“mean”：輸出的總和將除以輸出中的元素數量，“sum”：輸出將被求和。預設值：“mean”。
clip_value (float, optional) – 如果提供，它將用於計算相對於輸入 tensordict 值估計值的剪裁版本的值預測，並用它來計算值損失。剪裁的目的是限制極端值預測的影響，有助於穩定訓練並防止大幅更新。但是，如果值估計是由當前版本的值估計器完成的，則它不會產生影響。預設為 None。

注意

優勢值（通常是 GAE）可以透過損失函式或在訓練迴圈中計算。後者通常更受歡迎，但這取決於使用者選擇哪種方式。如果輸入 tensordict 中不存在優勢值鍵（預設為 "advantage），則優勢值將由 forward() 方法計算。

>>> ppo_loss = PPOLoss(actor, critic)
>>> advantage = GAE(critic)
>>> data = next(datacollector)
>>> losses = ppo_loss(data)
>>> # equivalent
>>> advantage(data)
>>> losses = ppo_loss(data)

可以使用 make_value_estimator() 構建自定義優勢值模組。預設是 GAE，其超引數由 default_value_kwargs() 指定。

>>> ppo_loss = PPOLoss(actor, critic)
>>> ppo_loss.make_value_estimator(ValueEstimators.TDLambda)
>>> data = next(datacollector)
>>> losses = ppo_loss(data)

注意

如果 Actor 和值函式共享引數，可以透過僅將值網路的頭部傳遞給 PPO 損失模組來避免多次呼叫公共模組

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorValueOperator(common, actor_head, value_head)
>>> loss_module = PPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = PPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

無論是否啟用 separate_losses，這都將起作用。

示例

>>> import torch
>>> from torch import nn
>>> from torchrl.data.tensor_specs import Bounded
>>> from torchrl.modules.distributions import NormalParamExtractor, TanhNormal
>>> from torchrl.modules.tensordict_module.actors import ProbabilisticActor, ValueOperator
>>> from torchrl.modules.tensordict_module.common import SafeModule
>>> from torchrl.objectives.ppo import PPOLoss
>>> from tensordict import TensorDict
>>> n_act, n_obs = 4, 3
>>> spec = Bounded(-torch.ones(n_act), torch.ones(n_act), (n_act,))
>>> base_layer = nn.Linear(n_obs, 5)
>>> net = nn.Sequential(base_layer, nn.Linear(5, 2 * n_act), NormalParamExtractor())
>>> module = SafeModule(net, in_keys=["observation"], out_keys=["loc", "scale"])
>>> actor = ProbabilisticActor(
...     module=module,
...     distribution_class=TanhNormal,
...     in_keys=["loc", "scale"],
...     spec=spec)
>>> module = nn.Sequential(base_layer, nn.Linear(5, 1))
>>> value = ValueOperator(
...     module=module,
...     in_keys=["observation"])
>>> loss = PPOLoss(actor, value)
>>> batch = [2, ]
>>> action = spec.rand(batch)
>>> data = TensorDict({"observation": torch.randn(*batch, n_obs),
...         "action": action,
...         "sample_log_prob": torch.randn_like(action[..., 1]),
...         ("next", "done"): torch.zeros(*batch, 1, dtype=torch.bool),
...         ("next", "terminated"): torch.zeros(*batch, 1, dtype=torch.bool),
...         ("next", "reward"): torch.randn(*batch, 1),
...         ("next", "observation"): torch.randn(*batch, n_obs),
...     }, batch)
>>> loss(data)
TensorDict(
    fields={
        entropy: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_critic: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_entropy: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_objective: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False)},
    batch_size=torch.Size([]),
    device=None,
    is_shared=False)

此類也與非 tensordict 模組相容，無需使用任何 tensordict 相關原語即可使用。在這種情況下，預期的關鍵字引數是：["action", "sample_log_prob", "next_reward", "next_done", "next_terminated"] + Actor 和值網路的 in_keys。返回值為一個張量元組，順序如下：["loss_objective"] + 如果設定了 entropy_bonus 則包含 ["entropy", "loss_entropy"] + 如果 critic_coef 不為 None 則包含 "loss_critic"。輸出鍵也可以使用 PPOLoss.select_out_keys() 方法進行過濾。

示例

>>> import torch
>>> from torch import nn
>>> from torchrl.data.tensor_specs import Bounded
>>> from torchrl.modules.distributions import NormalParamExtractor, TanhNormal
>>> from torchrl.modules.tensordict_module.actors import ProbabilisticActor, ValueOperator
>>> from torchrl.modules.tensordict_module.common import SafeModule
>>> from torchrl.objectives.ppo import PPOLoss
>>> n_act, n_obs = 4, 3
>>> spec = Bounded(-torch.ones(n_act), torch.ones(n_act), (n_act,))
>>> base_layer = nn.Linear(n_obs, 5)
>>> net = nn.Sequential(base_layer, nn.Linear(5, 2 * n_act), NormalParamExtractor())
>>> module = SafeModule(net, in_keys=["observation"], out_keys=["loc", "scale"])
>>> actor = ProbabilisticActor(
...     module=module,
...     distribution_class=TanhNormal,
...     in_keys=["loc", "scale"],
...     spec=spec)
>>> module = nn.Sequential(base_layer, nn.Linear(5, 1))
>>> value = ValueOperator(
...     module=module,
...     in_keys=["observation"])
>>> loss = PPOLoss(actor, value)
>>> loss.set_keys(sample_log_prob="sampleLogProb")
>>> _ = loss.select_out_keys("loss_objective")
>>> batch = [2, ]
>>> action = spec.rand(batch)
>>> loss_objective = loss(
...         observation=torch.randn(*batch, n_obs),
...         action=action,
...         sampleLogProb=torch.randn_like(action[..., 1]) / 10,
...         next_done=torch.zeros(*batch, 1, dtype=torch.bool),
...         next_terminated=torch.zeros(*batch, 1, dtype=torch.bool),
...         next_reward=torch.randn(*batch, 1),
...         next_observation=torch.randn(*batch, n_obs))
>>> loss_objective.backward()

注意

關於與非 tensordict 模組的相容性有一個例外。如果 Actor 網路是機率性的並且使用 CompositeDistribution，則此類必須與 tensordicts 一起使用，不能作為獨立於 tensordict 的模組執行。這是因為複合動作空間本質上依賴於 tensordicts 提供的結構化資料表示來處理其動作。

default_keys¶: _AcceptedKeys 的別名

forward(tensordict: TensorDictBase = None) → TensorDictBase[source]¶

它設計用於讀取輸入的 TensorDict 並返回另一個包含以“loss*”命名的損失鍵的 tensordict。

然後，訓練器可以使用將損失分解為其組成部分的方式，在整個訓練過程中記錄各種損失值。輸出 tensordict 中存在的其他標量也將被記錄。

引數：: tensordict – 包含計算損失所需值的輸入 tensordict。
返回值：: 一個新的不含批處理維度且包含各種以“loss*”命名的損失標量的 tensordict。損失必須以此名稱返回，因為訓練器在反向傳播之前會讀取它們，這一點非常重要。

property functional¶

模組是否是函式式的。

除非特意設計為非函式式，否則所有損失函式都是函式式的。

loss_critic(tensordict: TensorDictBase) → Tensor[source]¶: 返回評論家損失，如果 critic_coef 不為 None，則乘以 critic_coef。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)[source]¶

值函式構造器。

如果需要非預設的值函式，必須使用此方法構建。

引數：

value_type (ValueEstimators) – 一個 ValueEstimators 列舉型別，指示要使用的值函式。如果未提供，則將使用儲存在 default_value_estimator 屬性中的預設值。結果值估計器類將註冊到 self.value_type 中，以便後續最佳化。
**hyperparams – 用於值函式的超引數。如果未提供，則將使用 default_value_kwargs() 指定的值。

示例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)

PPOLoss¶

文件

教程

資源