快捷方式

torchao.sparsity

sparsify_

使用 apply_tensor_subclass 轉換模型中線性模組的權重。

semi_sparse_weight

將線性模組的權重轉換為半結構化 (2:4) 稀疏性

int8_dynamic_activation_int8_semi_sparse_weight

將 int8 動態對稱逐 token 啟用和 int8 逐通道權重量化 + 2:4 稀疏性應用於線性層。

apply_fake_sparsity

此函式在模型中的所有線性層上模擬 2:4 稀疏性。

WandaSparsifier

Wanda 稀疏器

PerChannelNormObserver

計算每個通道的 L2 範數並將其儲存在緩衝區中的自定義觀察器。

文件

查閱 PyTorch 的全面開發者文件

檢視文件

教程

獲取面向初學者和高階開發者的深入教程

檢視教程

資源

查詢開發資源並獲得問題解答

檢視資源