torch.nn.attention.bias.causal_upper_left

torch.nn.attention.bias.causal_upper_left(*size)

建立左上三角因果偏置。

此函式生成一個左上三角矩陣，用於表示因果注意力偏置，並設定對角線偏移量，使包含值與矩陣的左上角對齊。這等同於 scaled_dot_product_attention 中的 is_causal=True 引數。

構建此偏置的等效 PyTorch 程式碼是

torch.tril(torch.ones(size, dtype=torch.bool))

例如，對於 shape=(3,4)，具體化的偏置張量將是

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]

引數

size – 偏置矩陣的大小。

返回值

左上三角因果偏置變體。

返回值型別

CausalBias