PerToken

class torch.ao.quantization.observer.PerToken

表示量化中的逐 token 粒度。

此粒度型別為每個 token 計算一組不同的量化引數，token 在張量中由最後一維表示。

例如，如果輸入張量的形狀為 [2, 3, 4]，則有 6 個 token，每個 token 包含 4 個元素，我們將為每個 token 計算 6 組量化引數。

如果輸入張量只有兩維，例如 [8, 16]，則這等價於 PerAxis(axis=0)，它會產生 8 組量化引數。