量化 API 參考

torch.ao.quantization

此模組包含 Eager 模式的量化 API。

頂層 API

quantize	使用訓練後靜態量化對輸入的浮點模型進行量化。
quantize_dynamic	將浮點模型轉換為動態（即...
quantize_qat	執行量化感知訓練並輸出量化模型
prepare	準備模型的副本，用於量化校準或量化感知訓練。
prepare_qat	準備模型的副本用於量化校準或量化感知訓練，並將其轉換為量化版本。
convert	根據 mapping 將輸入模組中的子模組轉換為不同的模組，透過呼叫目標模組類上的 from_float 方法實現。

準備模型進行量化

fuse_modules.fuse_modules	將模組列表融合為一個模組。
QuantStub	量化存根模組，在校準之前，它與觀察者相同，將在 convert 中被替換為 nnq.Quantize。
DeQuantStub	反量化存根模組，在校準之前，它與 identity 相同，將在 convert 中被替換為 nnq.DeQuantize。
QuantWrapper	一個包裝類，用於包裝輸入模組，新增 QuantStub 和 DeQuantStub，並在呼叫模組時圍繞著呼叫量化和反量化模組。
add_quant_dequant	如果子模組具有有效的 qconfig，則將其包裝在 QuantWrapper 中。請注意，此函式會原地修改模組的子模組，並且可以返回一個新的模組，該模組也包裝了輸入模組。

工具函式

swap_module	如果模組有量化對應物且附有 observer，則交換模組。
propagate_qconfig_	在模組層次結構中傳播 qconfig，並在每個葉子模組上分配 qconfig 屬性
default_eval_fn	定義預設評估函式。

torch.ao.quantization.quantize_fx

此模組包含 FX 圖模式量化 API（原型）。

prepare_fx	準備模型進行訓練後量化
prepare_qat_fx	準備模型進行量化感知訓練
convert_fx	將校準或訓練過的模型轉換為量化模型
fuse_fx	融合諸如 conv+bn、conv+bn+relu 等模組，模型必須處於評估模式。

torch.ao.quantization.qconfig_mapping

此模組包含用於配置 FX 圖模式量化的 QConfigMapping。

QConfigMapping	將模型操作對映到 torch.ao.quantization.QConfig。
get_default_qconfig_mapping	返回訓練後量化的預設 QConfigMapping。
get_default_qat_qconfig_mapping	返回量化感知訓練的預設 QConfigMapping。

torch.ao.quantization.backend_config

此模組包含 BackendConfig，一個配置物件，用於定義後端如何支援量化。目前僅用於 FX 圖模式量化，但我們可能會擴充套件 Eager 模式量化以支援它。

BackendConfig	定義給定後端上可量化的模式集合以及如何根據這些模式生成參考量化模型的配置。
BackendPatternConfig	指定給定運算子模式的量化行為的配置物件。
DTypeConfig	配置物件，指定參考模型規範中傳遞給量化操作作為引數的受支援資料型別，適用於輸入和輸出啟用、權重和偏差。
DTypeWithConstraints	用於指定給定資料型別的附加約束的配置，例如量化值範圍、比例值範圍和固定量化引數，用於 DTypeConfig 中。
ObservationType	一個列舉，表示觀察運算子/運算子模式的不同方式

torch.ao.quantization.fx.custom_config

此模組包含一些 CustomConfig 類，它們在 eager 模式和 FX 圖模式量化中都使用

FuseCustomConfig	fuse_fx() 的自定義配置。
PrepareCustomConfig	prepare_fx() 和 prepare_qat_fx() 的自定義配置。
ConvertCustomConfig	convert_fx() 的自定義配置。
StandaloneModuleConfigEntry

torch.ao.quantization.quantizer

torch.ao.quantization.pt2e (pytorch 2.0 匯出實現的量化)

torch.ao.quantization.pt2e.export_utils

model_is_exported

如果 torch.nn.Module 被匯出，則返回 True，否則返回 False（例如...

PT2 匯出 (pt2e) 數值偵錯程式

generate_numeric_debug_handle	為給定 ExportedProgram 的圖模組中的所有節點（如 conv2d、squeeze、conv1d 等，佔位符除外）附加 numeric_debug_handle_id。
CUSTOM_KEY	str(object='') -> str str(bytes_or_buffer[, encoding[, errors]]) -> str
NUMERIC_DEBUG_HANDLE_KEY	str(object='') -> str str(bytes_or_buffer[, encoding[, errors]]) -> str
prepare_for_propagation_comparison	為具有 numeric_debug_handle 的節點新增輸出記錄器
extract_results_from_loggers	對於給定的模型，提取每個除錯控制代碼的張量統計資訊和相關資訊。
compare_results	給定兩個將 debug_handle_id (int) 對映到張量列表的字典，返回一個將 debug_handle_id 對映到 NodeAccuracySummary 的字典，其中包含 SQNR、MSE 等比較資訊。

torch (量化相關函式)

這描述了 torch 名稱空間中與量化相關的函式。

quantize_per_tensor	使用給定的 scale 和 zero point 將浮點張量轉換為量化張量。
quantize_per_channel	使用給定的 scales 和 zero points 將浮點張量轉換為逐通道量化張量。
dequantize	透過反量化量化張量返回一個 fp32 張量

torch.Tensor (量化相關方法)

量化張量支援常規全精度張量的有限子集的資料操作方法。

view	返回一個新張量，其資料與 self 張量相同，但具有不同的 shape。
as_strided	參見 torch.as_strided()
expand	返回 self 張量的新檢視，其中大小為 1 的維度已擴充套件到更大的尺寸。
flatten	參見 torch.flatten()
select	參見 torch.select()
ne	參見 torch.ne()。
eq	參見 torch.eq()
ge	參見 torch.ge()。
le	參見 torch.le()。
gt	參見 torch.gt()。
lt	參見 torch.lt()。
copy_	將 src 中的元素複製到 self 張量中並返回 self。
clone	參見 torch.clone()
dequantize	給定一個量化張量，反量化它並返回反量化的浮點張量。
equal	參見 torch.equal()
int_repr	給定一個量化張量，self.int_repr() 返回一個數據型別為 uint8_t 的 CPU 張量，該張量儲存給定張量的底層 uint8_t 值。
max	參見 torch.max()
mean	參見 torch.mean()
min	參見 torch.min()
q_scale	給定一個透過線性（仿射）量化量化的 Tensor，返回底層量化器的 scale。
q_zero_point	給定一個透過線性（仿射）量化量化的 Tensor，返回底層量化器的 zero_point。
q_per_channel_scales	給定一個透過線性（仿射）逐通道量化量化的 Tensor，返回底層量化器的 scales 張量。
q_per_channel_zero_points	給定一個透過線性（仿射）逐通道量化量化的 Tensor，返回底層量化器的 zero_points 張量。
q_per_channel_axis	給定一個透過線性（仿射）逐通道量化量化的 Tensor，返回應用逐通道量化的維度索引。
resize_	將 self 張量的大小調整為指定大小。
sort	參見 torch.sort()
topk	參見 torch.topk()

torch.ao.quantization.observer

此模組包含觀察者，用於收集校準 (PTQ) 或訓練 (QAT) 期間觀察到的值的統計資訊。

ObserverBase	基礎觀察者模組。
MinMaxObserver	基於執行中的最小值和最大值計算量化引數的觀察者模組。
MovingAverageMinMaxObserver	基於最小值和最大值移動平均值計算量化引數的觀察者模組。
PerChannelMinMaxObserver	基於執行中的逐通道最小值和最大值計算量化引數的觀察者模組。
MovingAveragePerChannelMinMaxObserver	基於執行中的逐通道最小值和最大值計算量化引數的觀察者模組。
HistogramObserver	該模組記錄張量值的執行直方圖以及最小值/最大值。
PlaceholderObserver	一個不做任何事情的觀察者，僅將其配置傳遞給量化模組的 .from_float() 方法。
RecordingObserver	該模組主要用於除錯，並在執行時記錄張量值。
NoopObserver	一個不做任何事情的觀察者，僅將其配置傳遞給量化模組的 .from_float() 方法。
get_observer_state_dict	返回對應於觀察者統計資訊的 state dict。
load_observer_state_dict	給定輸入模型和一個包含模型觀察者統計資訊的 state_dict，將統計資訊載入回模型中。
default_observer	靜態量化的預設觀察者，通常用於除錯。
default_placeholder_observer	預設佔位符觀察者，通常用於量化到 torch.float16。
default_debug_observer	預設僅用於除錯的觀察者。
default_weight_observer	預設權重觀察者。
default_histogram_observer	預設直方圖觀察者，通常用於 PTQ。
default_per_channel_weight_observer	預設逐通道權重觀察者，通常用於支援逐通道權重量化的後端，例如 fbgemm。
default_dynamic_quant_observer	動態量化的預設觀察者。
default_float_qparams_observer	浮點 zero-point 的預設觀察者。
AffineQuantizedObserverBase	仿射量化觀察者模組 (https://github.com/pytorch/ao/tree/main/torchao/quantization#affine-quantization)
Granularity	表示量化粒度的基類。
MappingType	浮點數如何對映到整數
PerAxis	表示量化中的逐軸粒度。
PerBlock	表示量化中的逐塊粒度。
PerGroup	表示量化中的逐通道組粒度。
PerRow	表示量化中的逐行粒度。
PerTensor	表示量化中的逐張量粒度。
PerToken	表示量化中的逐 token 粒度。
TorchAODType	尚不存在於 PyTorch 核心中的資料型別的佔位符。
ZeroPointDomain	一個列舉，指示 zero_point 是在整數域還是浮點域中
get_block_size	根據輸入形狀和粒度型別獲取塊大小。

torch.ao.quantization.fake_quantize

此模組實現了在 QAT 期間用於執行偽量化的模組。

FakeQuantizeBase	基礎偽量化模組。
FakeQuantize	在訓練期間模擬量化和反量化操作。
FixedQParamsFakeQuantize	在訓練期間模擬量化和反量化。
FusedMovingAvgObsFakeQuantize	定義一個融合模組來觀察張量。
default_fake_quant	啟用的預設 fake_quant。
default_weight_fake_quant	權重的預設 fake_quant。
default_per_channel_weight_fake_quant	逐通道權重的預設 fake_quant。
default_histogram_fake_quant	使用直方圖對啟用進行偽量化。
default_fused_act_fake_quant	default_fake_quant 的融合版本，效能有所提升。
default_fused_wt_fake_quant	default_weight_fake_quant 的融合版本，效能有所提升。
default_fused_per_channel_wt_fake_quant	default_per_channel_weight_fake_quant 的融合版本，效能有所提升。
disable_fake_quant	停用模組的偽量化。
enable_fake_quant	啟用模組的偽量化。
disable_observer	停用此模組的觀察。
enable_observer	啟用此模組的觀察。

torch.ao.quantization.qconfig

此模組定義 QConfig 物件，用於配置單個操作的量化設定。

QConfig	描述如何透過分別提供啟用和權重的設定（觀察者類）來量化網路層或網路的一部分。
default_qconfig	預設 qconfig 配置。
default_debug_qconfig	用於除錯的預設 qconfig 配置。
default_per_channel_qconfig	逐通道權重量化的預設 qconfig 配置。
default_dynamic_qconfig	預設動態 qconfig。
float16_dynamic_qconfig	權重被量化到 torch.float16 的動態 qconfig。
float16_static_qconfig	啟用和權重都量化到 torch.float16 的動態 qconfig。
per_channel_dynamic_qconfig	權重逐通道量化的動態 qconfig。
float_qparams_weight_only_qconfig	權重使用浮點 zero_point 量化的動態 qconfig。
default_qat_qconfig	QAT 的預設 qconfig。
default_weight_only_qconfig	僅量化權重的預設 qconfig。
default_activation_only_qconfig	僅量化啟用的預設 qconfig。
default_qat_qconfig_v2	default_qat_config 的融合版本，具有效能優勢。

torch.ao.nn.intrinsic

此模組實現了可用於量化的組合（融合）模組 conv + relu。

ConvReLU1d	這是一個順序容器，呼叫 Conv1d 和 ReLU 模組。
ConvReLU2d	這是一個順序容器，呼叫 Conv2d 和 ReLU 模組。
ConvReLU3d	這是一個順序容器，呼叫 Conv3d 和 ReLU 模組。
LinearReLU	這是一個順序容器，呼叫 Linear 和 ReLU 模組。
ConvBn1d	這是一個順序容器，呼叫 Conv 1d 和 Batch Norm 1d 模組。
ConvBn2d	這是一個順序容器，呼叫 Conv 2d 和 Batch Norm 2d 模組。
ConvBn3d	這是一個順序容器，呼叫 Conv 3d 和 Batch Norm 3d 模組。
ConvBnReLU1d	這是一個順序容器，呼叫 Conv 1d、Batch Norm 1d 和 ReLU 模組。
ConvBnReLU2d	這是一個順序容器，呼叫 Conv 2d、Batch Norm 2d 和 ReLU 模組。
ConvBnReLU3d	這是一個順序容器，呼叫 Conv 3d、Batch Norm 3d 和 ReLU 模組。
BNReLU2d	這是一個順序容器，呼叫 BatchNorm 2d 和 ReLU 模組。
BNReLU3d	這是一個順序容器，呼叫 BatchNorm 3d 和 ReLU 模組。

torch.ao.nn.intrinsic.qat

此模組實現了量化感知訓練所需的這些融合操作的版本。

LinearReLU	一個由 Linear 和 ReLU 模組融合而成的 LinearReLU 模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvBn1d	ConvBn1d 模組是由 Conv1d 和 BatchNorm1d 融合而成的模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvBnReLU1d	ConvBnReLU1d 模組是由 Conv1d、BatchNorm1d 和 ReLU 融合而成的模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvBn2d	ConvBn2d 模組是由 Conv2d 和 BatchNorm2d 融合而成的模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvBnReLU2d	ConvBnReLU2d 模組是由 Conv2d、BatchNorm2d 和 ReLU 融合而成的模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvReLU2d	ConvReLU2d 模組是 Conv2d 和 ReLU 的融合模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvBn3d	ConvBn3d 模組是由 Conv3d 和 BatchNorm3d 融合而成的模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvBnReLU3d	ConvBnReLU3d 模組是由 Conv3d、BatchNorm3d 和 ReLU 融合而成的模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
ConvReLU3d	ConvReLU3d 模組是 Conv3d 和 ReLU 的融合模組，附加了用於權重的 FakeQuantize 模組，用於量化感知訓練。
update_bn_stats
freeze_bn_stats

torch.ao.nn.intrinsic.quantized

此模組實現了卷積+relu等融合操作的量化實現。不包含BatchNorm變體，因為它們通常在推理時摺疊到卷積中。

BNReLU2d	BNReLU2d模組是BatchNorm2d和ReLU的融合模組
BNReLU3d	BNReLU3d模組是BatchNorm3d和ReLU的融合模組
ConvReLU1d	ConvReLU1d模組是Conv1d和ReLU的融合模組
ConvReLU2d	ConvReLU2d模組是Conv2d和ReLU的融合模組
ConvReLU3d	ConvReLU3d模組是Conv3d和ReLU的融合模組
LinearReLU	LinearReLU模組由Linear和ReLU模組融合而成

torch.ao.nn.intrinsic.quantized.dynamic

此模組實現了線性+relu等融合操作的量化動態實現。

LinearReLU

一個由Linear和ReLU模組融合而成的LinearReLU模組，可用於動態量化。

torch.ao.nn.qat

此模組實現了關鍵nn模組（如Conv2d()和Linear()）的版本，它們在FP32中執行，但應用了舍入以模擬INT8量化的效果。

Conv2d	一個附帶用於權重的FakeQuantize模組的Conv2d模組，用於量化感知訓練。
Conv3d	一個附帶用於權重的FakeQuantize模組的Conv3d模組，用於量化感知訓練。
Linear	一個附帶用於權重的FakeQuantize模組的Linear模組，用於量化感知訓練。

torch.ao.nn.qat.dynamic

此模組實現了關鍵nn模組（如Linear()）的版本，它們在FP32中執行，但應用了舍入以模擬INT8量化的效果，並在推理期間動態量化。

Linear

一個附帶用於權重的FakeQuantize模組的Linear模組，用於動態量化感知訓練。

torch.ao.nn.quantized

此模組實現了nn層（如~`torch.nn.Conv2d`和torch.nn.ReLU）的量化版本。

ReLU6	應用逐元素函式
Hardswish	這是Hardswish的量化版本。
ELU	這是ELU的量化等效項。
LeakyReLU	這是LeakyReLU的量化等效項。
Sigmoid	這是Sigmoid的量化等效項。
BatchNorm2d	這是BatchNorm2d的量化版本。
BatchNorm3d	這是BatchNorm3d的量化版本。
Conv1d	對由多個量化輸入平面組成的量化輸入訊號應用一維卷積。
Conv2d	對由多個量化輸入平面組成的量化輸入訊號應用二維卷積。
Conv3d	對由多個量化輸入平面組成的量化輸入訊號應用三維卷積。
ConvTranspose1d	對由多個輸入平面組成的輸入影像應用一維轉置卷積運算。
ConvTranspose2d	對由多個輸入平面組成的輸入影像應用二維轉置卷積運算。
ConvTranspose3d	對由多個輸入平面組成的輸入影像應用三維轉置卷積運算。
Embedding	一種量化Embedding模組，使用量化打包權重作為輸入。
EmbeddingBag	一種量化EmbeddingBag模組，使用量化打包權重作為輸入。
FloatFunctional	用於浮點運算的狀態收集器類。
FXFloatFunctional	在FX圖模式量化之前用於替換FloatFunctional模組的模組，因為activation_post_process將直接插入到頂層模組中。
QFunctional	量化運算的包裝器類。
Linear	一種量化Linear模組，使用量化張量作為輸入和輸出。
LayerNorm	這是LayerNorm的量化版本。
GroupNorm	這是GroupNorm的量化版本。
InstanceNorm1d	這是InstanceNorm1d的量化版本。
InstanceNorm2d	這是InstanceNorm2d的量化版本。
InstanceNorm3d	這是InstanceNorm3d的量化版本。

torch.ao.nn.quantized.functional

函式式介面（量化）。

此模組實現了函式層（如~`torch.nn.functional.conv2d`和torch.nn.functional.relu）的量化版本。注意：relu()支援量化輸入。

avg_pool2d	在$kH \times kW$區域應用二維平均池化運算，步長為$sH \times sW$。
avg_pool3d	在$kD \ times kH \times kW$區域應用三維平均池化運算，步長為$sD \times sH \times sW$。
adaptive_avg_pool2d	對由多個量化輸入平面組成的量化輸入訊號應用二維自適應平均池化。
adaptive_avg_pool3d	對由多個量化輸入平面組成的量化輸入訊號應用三維自適應平均池化。
conv1d	對由多個輸入平面組成的量化一維輸入應用一維卷積。
conv2d	對由多個輸入平面組成的量化二維輸入應用二維卷積。
conv3d	對由多個輸入平面組成的量化三維輸入應用三維卷積。
interpolate	將輸入下采樣/上取樣到給定的size或給定的scale_factor。
linear	對輸入的量化資料應用線性變換：$y = xA^T + b$。
max_pool1d	對由多個量化輸入平面組成的量化輸入訊號應用一維最大池化。
max_pool2d	對由多個量化輸入平面組成的量化輸入訊號應用二維最大池化。
celu	逐元素應用量化CELU函式。
leaky_relu	的量化版本。
hardtanh	這是hardtanh()的量化版本。
hardswish	這是hardswish()的量化版本。
threshold	逐元素應用閾值函式的量化版本
elu	這是elu()的量化版本。
hardsigmoid	這是hardsigmoid()的量化版本。
clamp	float(input, min_, max_) -> Tensor
upsample	將輸入上取樣到給定的size或給定的scale_factor。
upsample_bilinear	使用雙線性上取樣對輸入進行上取樣。
upsample_nearest	使用最近鄰畫素值對輸入進行上取樣。

torch.ao.nn.quantizable

此模組實現了一些nn層的可量化版本。這些模組可以與自定義模組機制結合使用，透過在準備和轉換時提供custom_module_config引數來實現。

LSTM	一種可量化的長短期記憶（LSTM）模組。
MultiheadAttention

torch.ao.nn.quantized.dynamic

動態量化的Linear、LSTM、LSTMCell、GRUCell和RNNCell。

Linear	一種動態量化的Linear模組，使用浮點張量作為輸入和輸出。
LSTM	一種動態量化的LSTM模組，使用浮點張量作為輸入和輸出。
GRU	將多層門控迴圈單元（GRU）RNN應用於輸入序列。
RNNCell	具有tanh或ReLU非線性的Elman RNN單元。
LSTMCell	一種長短期記憶（LSTM）單元。
GRUCell	一種門控迴圈單元（GRU）單元

量化資料型別和量化方案

請注意，運算子實現目前僅支援對conv和linear運算子權重進行逐通道量化。此外，輸入資料按如下方式線性對映到量化資料，反之亦然：

$$\begin{aligned} \text{Quantization:}&\\ &Q_\text{out} = \text{clamp}(x_\text{input}/s+z, Q_\text{min}, Q_\text{max})\\ \text{Dequantization:}&\\ &x_\text{out} = (Q_\text{input}-z)*s \end{aligned}$$

其中$\text{clamp}(.)$與clamp()相同，而縮放因子$s$和零點$z$則按MinMaxObserver中的描述進行計算，具體如下：

$$\begin{aligned} \text{if Symmetric:}&\\ &s = 2 \max(|x_\text{min}|, x_\text{max}) / \left( Q_\text{max} - Q_\text{min} \right) \\ &z = \begin{cases} 0 & \text{if dtype is qint8} \\ 128 & \text{otherwise} \end{cases}\\ \text{Otherwise:}&\\ &s = \left( x_\text{max} - x_\text{min} \right ) / \left( Q_\text{max} - Q_\text{min} \right ) \\ &z = Q_\text{min} - \text{round}(x_\text{min} / s) \end{aligned}$$

其中 $[x_\text{min}, x_\text{max}]$ 表示輸入資料的範圍，而 $Q_\text{min}$ 和 $Q_\text{max}$ 分別表示量化資料型別的最小值和最大值。

請注意，$s$ 和 $z$ 的選擇意味著只要零位於輸入資料的範圍內或正在使用對稱量化時，零就可以表示而沒有量化誤差。

可以透過 自定義運算元機制 來實現其他資料型別和量化方案。

• torch.qscheme — 用於描述張量量化方案的型別。支援的型別

  • torch.per_tensor_affine — 每張量，非對稱

  • torch.per_channel_affine — 每通道，非對稱

  • torch.per_tensor_symmetric — 每張量，對稱

  • torch.per_channel_symmetric — 每通道，對稱

• torch.dtype — 用於描述資料的型別。支援的型別

  • torch.quint8 — 8位無符號整數

  • torch.qint8 — 8位有符號整數

  • torch.qint32 — 32位有符號整數

QAT 模組。

此包正在被棄用。請改用 torch.ao.nn.qat.modules。

QAT 動態模組。

此包正在被棄用。請改用 torch.ao.nn.qat.dynamic。

此檔案正在遷移到 torch/ao/quantization，並暫時保留在此處以保持相容性。如果您要新增新的條目/功能，請將其新增到 torch/ao/quantization/fx/ 下的相應檔案中，並在此處新增匯入語句。

QAT 動態模組。

此包正在被棄用。請改用 torch.ao.nn.qat.dynamic。

量化模組。

注意：

torch.nn.quantized 名稱空間正在被棄用。請改用 torch.ao.nn.quantized。

量化動態模組。

此檔案正在遷移到 torch/ao/nn/quantized/dynamic，並暫時保留在此處以保持相容性。如果您要新增新的條目/功能，請將其新增到 torch/ao/nn/quantized/dynamic 下的相應檔案中，並在此處新增匯入語句。