torchao.sparsity¶
使用 apply_tensor_subclass 轉換模型中線性模組的權重。 |
|
將線性模組的權重轉換為半結構化 (2:4) 稀疏性 |
|
將 int8 動態對稱逐 token 啟用和 int8 逐通道權重量化 + 2:4 稀疏性應用於線性層。 |
|
此函式在模型中的所有線性層上模擬 2:4 稀疏性。 |
|
Wanda 稀疏器 |
|
計算每個通道的 L2 範數並將其儲存在緩衝區中的自定義觀察器。 |
使用 apply_tensor_subclass 轉換模型中線性模組的權重。 |
|
將線性模組的權重轉換為半結構化 (2:4) 稀疏性 |
|
將 int8 動態對稱逐 token 啟用和 int8 逐通道權重量化 + 2:4 稀疏性應用於線性層。 |
|
此函式在模型中的所有線性層上模擬 2:4 稀疏性。 |
|
Wanda 稀疏器 |
|
計算每個通道的 L2 範數並將其儲存在緩衝區中的自定義觀察器。 |