安裝說明

注意：最新的安裝說明包含在 FBGEMM 倉庫 setup_env.bash 下捆綁的一組指令碼中。

安裝 FBGEMM GenAI 的一般步驟如下

1. 設定隔離的執行時環境。

2. 為純 CPU、CUDA 或 ROCm 執行時設定工具鏈。

3. 安裝 PyTorch。

4. 安裝 FBGEMM GenAI 包。

5. 執行安裝後檢查。

在安裝 FBGEMM GenAI 之前，請查閱 FBGEMM 版本相容性表，確保您使用的必要硬體和軟體與您計劃安裝的 FBGEMM GenAI 版本相容。

設定執行時環境

按照說明設定執行時環境

1. 設定 CUDA 環境

2. 安裝 Python 庫

3. 安裝 PyTorch

4. 安裝 Triton

安裝 FBGEMM GenAI 包

透過 PyTorch PIP 安裝

PyTorch PIP 是安裝 FBGEMM GenAI 的首選渠道

# !! Run inside the Conda environment !!

# CUDA Nightly
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu126/
pip install --pre fbgemm-genai --index-url https://download.pytorch.org/whl/nightly/cu126/

# CUDA Release
pip install torch --index-url https://download.pytorch.org/whl/cu126/
pip install fbgemm-genai --index-url https://download.pytorch.org/whl/cu126/

# Test the installation
python -c "import torch; import fbgemm_gpu.experimental.gen_ai"

透過公共 PyPI 安裝

# !! Run inside the Conda environment !!

# CUDA Nightly
pip install fbgemm-gpu-nightly-genai

# CUDA Release
pip install fbgemm-gpu-genai

安裝後檢查

安裝後，執行匯入測試以確保庫已正確連結和設定。

# !! Run inside the Conda environment !!

python -c "import torch; import fbgemm_gpu.experimental.gen_ai; print(torch.ops.fbgemm.quantize_fp8_per_row)"

有關其他安裝後檢查的資訊，請參閱安裝後檢查。