torchao.dtypes

佈局和張量子類

NF4Tensor	用於將權重轉換為 QLoRA NF4 格式的 NF4Tensor 類
AffineQuantizedTensor	仿射量化張量子類。
Layout	Layout 類是用於定義不同張量資料佈局的基類。
PlainLayout	PlainLayout 是最基本的佈局類，繼承自 Layout 基類。
SemiSparseLayout	SemiSparseLayout 是用於處理仿射量化張量中半結構化稀疏矩陣的佈局類。
TensorCoreTiledLayout	TensorCoreTiledLayout 是用於處理仿射量化張量中張量核心平鋪佈局的佈局類。
Float8Layout	表示 Float8 仿射量化張量的佈局配置。
MarlinSparseLayout	MarlinSparseLayout 是一個佈局類，用於處理專為 Marlin 稀疏核設計的稀疏張量格式。
BlockSparseLayout	BlockSparseLayout 是一個表示塊稀疏矩陣佈局的資料類。
UintxLayout	Uintx 張量的佈局類，這些張量的元素被打包成比標準 8 位位元組更小的位寬。
MarlinQQQTensor	MarlinQQQ 量化張量子類，繼承自 AffineQuantizedTensor 類。
MarlinQQQLayout	MarlinQQQLayout 是用於 Marlin QQQ 量化的佈局類。
Int4CPULayout	用於仿射量化張量的 int4 CPU 佈局類，由 tinygemm 核 _weight_int4pack_mm_for_cpu 使用。
CutlassInt4PackedLayout	用於仿射量化張量的 int4 打包佈局類，適用於 cutlass 核。

量化技術

to_affine_quantized_intx	將高精度張量轉換為整數仿射量化張量。
to_affine_quantized_intx_static	使用靜態引數從高精度張量建立整數 AffineQuantizedTensor。
to_affine_quantized_fpx	從高精度張量建立 floatx AffineQuantizedTensor。
to_affine_quantized_floatx	將高精度張量轉換為 float8 量化張量。
to_affine_quantized_floatx_static	使用靜態引數從高精度張量建立 float8 AffineQuantizedTensor。
to_marlinqqq_quantized_intx	將浮點張量轉換為 Marlin QQQ 量化張量。
to_nf4	將給定張量轉換為歸一化浮點 4 位張量。