UpdateWeights

class torchrl.trainers.UpdateWeights(collector: DataCollectorBase, update_weights_interval: int)

一個用於更新收集器權重的鉤子類。

當收集器的策略權重所在的裝置與 Trainer 正在訓練的策略權重所在的裝置不同時，必須使用此鉤子。在這種情況下，必須定期在裝置之間同步這些權重。如果裝置相同，則此操作將為空操作。

引數:

• collector (DataCollectorBase) – 必須同步策略權重的資料收集器。

• update_weights_interval (int) – 必須進行同步的間隔（以收集的批次數為單位）。

示例

>>> update_weights = UpdateWeights(trainer.collector, T)
>>> trainer.register_op("post_steps", update_weights)

register(trainer: Trainer, name: str = 'update_weights')

在 Trainer 的預設位置註冊鉤子。

引數:

• trainer (Trainer) – 必須註冊鉤子的 Trainer。

• name (str) – 鉤子的名稱。

注意

要在非預設位置註冊鉤子，請使用 register_op()。