no_grad¶
- class torch.no_grad(orig_func=None)[source][source]¶
停用梯度計算的上下文管理器。
停用梯度計算對於推理非常有用,特別是當你確定不會呼叫
Tensor.backward()時。它將減少那些否則會具有 requires_grad=True 的計算的記憶體消耗。在此模式下,即使輸入具有 requires_grad=True,每次計算的結果也將具有 requires_grad=False。但有一個例外!所有工廠函式,或建立新 Tensor 並接受 requires_grad kwarg 的函式,不受此模式影響。
此上下文管理器是執行緒本地的;它不會影響其他執行緒中的計算。
也可作為裝飾器使用。
注意
No-grad 是幾種可以在本地啟用或停用梯度的機制之一,請參閱 本地停用梯度計算 以瞭解更多關於它們的比較資訊。
注意
此 API 不適用於 正向模式 AD。如果要停用計算的正向 AD,可以解包雙張量。
- 示例:
>>> x = torch.tensor([1.], requires_grad=True) >>> with torch.no_grad(): ... y = x * 2 >>> y.requires_grad False >>> @torch.no_grad() ... def doubler(x): ... return x * 2 >>> z = doubler(x) >>> z.requires_grad False >>> @torch.no_grad() ... def tripler(x): ... return x * 3 >>> z = tripler(x) >>> z.requires_grad False >>> # factory function exception >>> with torch.no_grad(): ... a = torch.nn.Parameter(torch.rand(10)) >>> a.requires_grad True