VmasEnv¶
- torchrl.envs.VmasEnv(*args, **kwargs)[原始碼]¶
VMAS 環境包裝器。
GitHub: https://github.com/proroklab/VectorizedMultiAgentSimulator
論文: https://arxiv.org/abs/2207.03530
- 引數：
scenario (str or vmas.simulator.scenario.BaseScenario) – 要構建的 VMAS 場景。必須是
available_envs中的一個。有關可用場景的描述和渲染，請參閱 README。- 關鍵字引數：
num_envs (int) – 向量化模擬環境的數量。VMAS 使用 PyTorch 執行向量化模擬。此引數指示應在批次中模擬的向量化環境數量。它也將決定環境的批次大小。
device (torch.device, optional) – 用於模擬的裝置。預設為預設裝置。VMAS 建立的所有張量都將放置在此裝置上。
continuous_actions (bool, optional) – 是否使用連續動作。預設為
True。如果為False，動作將是離散的。動作的數量和大小將取決於所選場景。有關更多資訊，請參閱 VMAS 倉庫。max_steps (int, optional) – 任務的視野（步數限制）。預設為
None（無限視野）。每個 VMAS 場景都可以終止或不終止。如果指定了max_steps，則當達到此視野時，場景也會終止（並設定"terminated"標誌）。與 gym 的TimeLimittransform 或 torchrl 的StepCounter不同，此引數不會在 tensordict 中設定"truncated"條目。categorical_actions (bool, optional) – 如果環境動作為離散型別，是否將其轉換為 categorical 或 one-hot。預設為
True。group_map (MarlGroupMapType or Dict[str, List[str]], optional) – 如何在 tensordicts 中對智慧體進行分組以進行輸入/輸出。預設情況下，如果智慧體名稱遵循
"<name>_<int>"的約定，它們將按"<name>"分組。如果不遵循此約定，它們將全部放在一個名為"agents"的組中。此外，可以指定分組對映或從一些預設選項中選擇。有關更多資訊，請參閱MarlGroupMapType。**kwargs (Dict, optional) – 這些是可以傳遞給 VMAS 場景建構函式的額外引數。（例如，智慧體數量、獎勵稀疏度）。可用引數將根據所選場景而異。要檢視特定場景的可用引數，請參閱其在場景資料夾中的檔案中的建構函式。
- 變數：
group_map (Dict[str, List[str]]) – 如何在 tensordicts 中對智慧體進行分組以進行輸入/輸出。有關更多資訊，請參閱
MarlGroupMapType。agent_names (list of str) – 環境中的智慧體名稱列表
agent_names_to_indices_map (Dict[str, int]) – 將智慧體名稱對映到其在環境中的索引的字典
unbatched_action_spec (TensorSpec) – 不含向量化維度的 spec 版本
unbatched_observation_spec (TensorSpec) – 不含向量化維度的 spec 版本
unbatched_reward_spec (TensorSpec) – 不含向量化維度的 spec 版本
het_specs (bool) – 環境是否包含任何 lazy spec
het_specs_map (Dict[str, bool]) – 將每個組對映到一個標誌的字典，該標誌表示該組是否包含 lazy spec
available_envs (List[str]) – 可用於構建的場景列表。
警告
VMAS 返回一個單獨的
done標誌，該標誌不區分環境達到max_steps和終止的情況。如果您認為truncation訊號是必需的，請將max_steps設定為None並使用StepCountertransform。示例
>>> env = VmasEnv( ... scenario="flocking", ... num_envs=32, ... continuous_actions=True, ... max_steps=200, ... device="cpu", ... seed=None, ... # Scenario kwargs ... n_agents=5, ... ) >>> print(env.rollout(10)) TensorDict( fields={ agents: TensorDict( fields={ action: Tensor(shape=torch.Size([32, 10, 5, 2]), device=cpu, dtype=torch.float32, is_shared=False), info: TensorDict( fields={ agent_collision_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False), agent_distance_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), observation: Tensor(shape=torch.Size([32, 10, 5, 18]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), done: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False), next: TensorDict( fields={ agents: TensorDict( fields={ info: TensorDict( fields={ agent_collision_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False), agent_distance_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), observation: Tensor(shape=torch.Size([32, 10, 5, 18]), device=cpu, dtype=torch.float32, is_shared=False), reward: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), done: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False), terminated: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False)}, batch_size=torch.Size([32, 10]), device=cpu, is_shared=False), terminated: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False)}, batch_size=torch.Size([32, 10]), device=cpu, is_shared=False)
