MarlinSparseLayout¶
- 類 torchao.dtypes.MarlinSparseLayout[原始碼]¶
MarlinSparseLayout 是一種佈局類，用於處理專門為 Marlin 稀疏核設計的稀疏張量格式。這種佈局用於最佳化具有 2:4 稀疏模式的仿射量化張量的儲存和計算。
該佈局確保張量資料經過預處理並存儲在與 Marlin 稀疏核操作相容的格式中。它提供了預處理輸入張量和管理量化張量佈局的方法。
- pre_process(輸入: 張量) 張量[原始碼]¶
- 預處理輸入張量，使其符合 Marlin 稀疏核所需的格式。
1º: 輸入張量被轉置，因為線性層將權重儲存在轉置格式中
2º: 張量被注入 2:4 稀疏性
3º: 再次轉置，因為量化過程將計算 dim=-1 的尺度
- 引數：
input (torch.Tensor) – 要預處理的輸入張量
- 返回：
預處理後的張量
- 返回型別：
