FBGEMM

FBGEMM (Facebook 通用矩陣乘法) 是一個用於伺服器端推理的低精度、高效能矩陣-矩陣乘法和卷積庫。該庫用作 PyTorch 在 x86 機器上的量化運算元的後端。

FBGEMM 開發

• 構建說明
  • FBGEMM 要求
  • 設定獨立構建環境
  • 安裝構建工具
  • 構建 FBGEMM 庫

FBGEMM C++ API

• 量化實用工具
  • 參考實現方法
  • AVX-2 實現方法
  • AVX-512 實現方法
• TBE CPU 自動向量化
  • FP8/16/32 自動向量化實現方法