BatchRenorm1d

類 torchrl.modules.BatchRenorm1d(num_features: int, *, momentum: float = 0.01, eps: float = 1e-05, max_r: float = 3.0, max_d: float = 5.0, warmup_steps: int = 10000, smooth: bool = False)

BatchRenorm 模組 (https://arxiv.org/abs/1702.03275)。

程式碼改編自 https://github.com/google-research/corenet

BatchRenorm 是標準 BatchNorm 的增強版本。與 BatchNorm 不同，它在初始熱身階段後利用執行統計資料對批次進行歸一化。這種方法減少了在長期訓練期間可能出現的“離群”批次的影響，使 BatchRenorm 在長期訓練中更加魯棒。

在熱身階段，BatchRenorm 的功能與 BatchNorm 層完全相同。

引數:

num_features (int) – 輸入張量的特徵數量。

關鍵字引數:

• momentum (float, optional) – 計算執行均值和方差的動量因子。預設為 0.01。

• eps (float, optional) – 新增到方差中的小值，以避免除零。預設為 1e-5。

• max_r (float, optional) – 縮放因子 r 的最大值。預設為 3.0。

• max_d (float, optional) – 偏差因子 d 的最大值。預設為 5.0。

• warmup_steps (int, optional) – 執行均值和方差的熱身步數。預設為 10000。

• smooth (bool, optional) – 如果 True，則行為將從常規 batch-norm（當 iter=0 時）平滑過渡到 batch-renorm（當 iter=warmup_steps 時）。否則，當 iter=warmup_steps 時，行為將從 batch-norm 切換到 batch-renorm。預設為 False。

forward(x: Tensor) → Tensor

定義每次呼叫時執行的計算。

應由所有子類覆蓋。

注意

儘管前向傳播（forward pass）的實現需要在本函式中定義，但之後應呼叫 Module 例項而不是直接呼叫此函式，因為前者會處理已註冊的鉤子（hooks），而後者則會默默忽略它們。