smooth_fq_linear_to_inference¶
- torchao.quantization.smooth_fq_linear_to_inference(model, debug_skip_calibration=False) None[source]¶
透過計算每個 SmoothFakeDynamicallyQuantizedLinear 層的 smoothquant scale 來準備模型進行推理。
- 引數:
model (torch.nn.Module) – 包含 SmoothFakeDynamicallyQuantizedLinear 層的模型。
debug_skip_calibration (bool, optional) – 如果為 True，將啟用的執行最大值設定為除錯值，用於效能基準測試。預設為 False。
- 返回:
None
