GymEnv¶

torchrl.envs.GymEnv(*args, **kwargs)[源]¶

直接透過環境 ID 構建的 OpenAI Gym 環境包裝器。

相容 gymnasium 和 OpenAI/gym。

引數:

env_name (str) – 在 gym.registry 中註冊的環境 ID。
categorical_action_encoding (bool, 可選) – 如果為 True，分類規範將被轉換為等效的 TorchRL 型別 (torchrl.data.Categorical)，否則將使用 one-hot 編碼 (torchrl.data.OneHot)。預設為 False。

關鍵字引數:

num_envs (int, 可選) – 並行執行的環境數量。預設為 None (執行單個環境)。預設將使用 AsyncVectorEnv。
disable_env_checker (bool, 可選) – 僅適用於 gym > 0.24。如果為 True (這些版本的預設值)，將不會執行環境檢查器。
from_pixels (bool, 可選) – 如果為 True，將嘗試從環境中返回畫素觀察值。預設情況下，這些觀察值將寫入 "pixels" 條目下。使用的方法因 gym 版本而異，可能涉及 wrappers.pixel_observation.PixelObservationWrapper。預設為 False。
pixels_only (bool, 可選) – 如果為 True，將僅返回畫素觀察值 (預設在輸出 tensordict 的 "pixels" 條目下)。如果為 False，當 from_pixels=True 時，將返回觀察值 (例如狀態) 和畫素。預設為 False。
frame_skip (int, 可選) – 如果提供，指示重複同一動作的步數。返回的觀察值將是序列中的最後一個觀察值，而獎勵將是所有步的獎勵總和。
device (torch.device, 可選) – 如果提供，資料將要轉換到的裝置。預設為 torch.device("cpu")。
batch_size (torch.Size, 可選) – 環境的批大小。應與所有觀察值、完成狀態、獎勵、動作和資訊的前導維度匹配。預設為 torch.Size([])。
allow_done_after_reset (bool, 可選) – 如果為 True，則允許環境在呼叫 reset() 後立即處於 done 狀態。預設為 False。

變數:

available_envs (List[str]) – 可以構建的環境列表。

注意

如果找不到某個屬性，此類將嘗試從巢狀環境中檢索它

>>> from torchrl.envs import GymEnv
>>> env = GymEnv("Pendulum-v1")
>>> print(env.spec.max_episode_steps)
200

如果某個用例 TorchRL 未涵蓋，請在 GitHub 上提交 issue。

示例

>>> from torchrl.envs import GymEnv
>>> env = GymEnv("Pendulum-v1")
>>> td = env.rand_step()
>>> print(td)
TensorDict(
    fields={
        action: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
        next: TensorDict(
            fields={
                done: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                observation: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False),
                reward: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
                terminated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                truncated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False)},
            batch_size=torch.Size([]),
            device=cpu,
            is_shared=False)},
    batch_size=torch.Size([]),
    device=cpu,
    is_shared=False)
>>> print(env.available_envs)
['ALE/Adventure-ram-v5', 'ALE/Adventure-v5', 'ALE/AirRaid-ram-v5', 'ALE/AirRaid-v5', 'ALE/Alien-ram-v5', 'ALE/Alien-v5',

注意

如果虛擬環境中同時存在 OpenAI/gym 和 gymnasium，可以使用 set_gym_backend() 切換後端。

>>> from torchrl.envs import set_gym_backend, GymEnv
>>> with set_gym_backend("gym"):
...     env = GymEnv("Pendulum-v1")
...     print(env._env)
<class 'gym.wrappers.time_limit.TimeLimit'>
>>> with set_gym_backend("gymnasium"):
...     env = GymEnv("Pendulum-v1")
...     print(env._env)
<class 'gymnasium.wrappers.time_limit.TimeLimit'>

注意

如果沒有提供其他讀取器，info 字典將使用 default_info_dict_reader 讀取。要提供其他讀取器，請參考 set_info_dict_reader()。要自動註冊 info_dict 內容，請參考 torchrl.envs.GymLikeEnv.auto_register_info_dict()。

注意

Gym 空間並未完全涵蓋。只要能透過 torch.Tensor、巢狀張量和/或 tensordict 表示，就支援以下空間：

spaces.Box
spaces.Sequence
spaces.Tuple
spaces.Discrete
spaces.MultiBinary
spaces.MultiDiscrete
spaces.Dict

使用 gym 空間時應考慮一些事項。例如，只有當空間在語義上相同（相同 dtype 和相同維數）時，才支援空間的元組。不規則維度可以透過 nested_tensor() 支援，但此時應只有一個級別的元組，並且資料應沿第一個維度堆疊（因為 nested_tensors 只能沿第一個維度堆疊）。

檢視 examples/envs/gym_conversion_examples.py 中的示例以瞭解更多資訊！

GymEnv¶

文件

教程

資源