torch.nn.attention.bias

定義與 scaled_dot_product_attention 協同工作的偏置子類

CausalBias

CausalBias

表示因果注意力模式的偏置。

causal_lower_right	建立一個右下三角形因果偏置。
causal_upper_left	建立一個左上三角形因果偏置。
CausalVariant	用於注意力機制中的因果變體的列舉。