CUDA 環境變數
有關 CUDA 執行時環境變數的更多資訊，請參閱 CUDA Environment Variables。
PyTorch 環境變數
變數 |
描述 |
|---|
PYTORCH_NO_CUDA_MEMORY_CACHING
|
如果設定為 1，則停用 CUDA 中的記憶體分配快取。這對於除錯很有用。 |
PYTORCH_CUDA_ALLOC_CONF
|
有關此環境變數更深入的解釋，請參閱 記憶體管理。 |
PYTORCH_NVML_BASED_CUDA_CHECK
|
如果設定為 1，在匯入檢查 CUDA 是否可用的 PyTorch 模組之前，PyTorch 將使用 NVML 檢查 CUDA 驅動程式是否正常工作，而不是使用 CUDA 執行時。這有助於解決 fork 程序出現 CUDA 初始化錯誤的問題。 |
TORCH_CUDNN_V8_API_LRU_CACHE_LIMIT
|
cuDNN v8 API 的快取限制。用於限制 cuDNN v8 API 使用的記憶體。預設值為 10000，假設每個 ExecutionPlan 為 200KiB，這大致對應於 2GiB。設定為 0 表示沒有限制，設定為負值表示沒有快取。 |
TORCH_CUDNN_V8_API_DISABLED
|
如果設定為 1，則停用 cuDNN v8 API。將回退到 cuDNN v7 API。 |
TORCH_ALLOW_TF32_CUBLAS_OVERRIDE
|
如果設定為 1，則強制啟用 TF32，覆蓋 set_float32_matmul_precision 設定。 |
TORCH_NCCL_USE_COMM_NONBLOCKING
|
如果設定為 1，則啟用 NCCL 中的非阻塞錯誤處理。 |
TORCH_NCCL_AVOID_RECORD_STREAMS
|
如果設定為 0，則啟用回退到基於記錄流的 NCCL 同步行為。 |
TORCH_CUDNN_V8_API_DEBUG
|
如果設定為 1，則檢查 cuDNN V8 是否正在使用。 |
CUDA 執行時和庫環境變數
變數 |
描述 |
|---|
CUDA_VISIBLE_DEVICES
|
逗號分隔的 GPU 裝置 ID 列表，應提供給 CUDA 執行時。如果設定為 -1，則沒有 GPU 可用。 |
CUDA_LAUNCH_BLOCKING
|
如果設定為 1，則使 CUDA 呼叫同步。這對於除錯很有用。 |
CUBLAS_WORKSPACE_CONFIG
|
此環境變數用於為每次分配設定 cuBLAS 的工作空間配置。格式為 :[SIZE]:[COUNT]。例如，每次分配的預設工作空間大小為 CUBLAS_WORKSPACE_CONFIG=:4096:2:16:8，指定總大小為 2 * 4096 + 8 * 16 KiB。要強制 cuBLAS 避免使用工作空間，請設定 CUBLAS_WORKSPACE_CONFIG=:0:0。 |
CUDNN_CONV_WSCAP_DBG
|
與 CUBLAS_WORKSPACE_CONFIG 類似，此環境變數用於為每次分配設定 cuDNN 的工作空間配置。 |
CUBLASLT_WORKSPACE_SIZE
|
與 CUBLAS_WORKSPACE_CONFIG 類似，此環境變數用於設定 cuBLASLT 的工作空間大小。 |
CUDNN_ERRATA_JSON_FILE
|
可以設定為 errata 過濾器的檔案路徑，該過濾器可以傳遞給 cuDNN 以避免特定的引擎配置，主要用於除錯或硬編碼自動調優。 |
NVIDIA_TF32_OVERRIDE
|
如果設定為 0，則全域性停用所有核心的 TF32，覆蓋所有 PyTorch 設定。 |
