torch.nn.attention.bias

定義與 scaled_dot_product_attention 搭配使用的偏差子類別

CausalBias

CausalBias

表示因果注意力模式的偏差。

causal_lower_right	建立一個右下三角形的因果偏差。
causal_upper_left	建立一個左上三角形的因果偏差。
CausalVariant	注意力機制中使用的因果變化的列舉。