raft_large¶
- torchvision.models.optical_flow.raft_large(*, weights: Optional[Raft_Large_Weights] = None, progress=True, **kwargs) RAFT[原始碼]¶
來自 RAFT: Recurrent All Pairs Field Transforms for Optical Flow 論文的 RAFT 模型。
請參閱下方示例，瞭解如何使用此模型的教程。
- 引數：
weights (
Raft_Large_Weights, 可選) – 要使用的預訓練權重。請參閱下方Raft_Large_Weights以瞭解更多詳細資訊和可能的值。預設情況下，不使用預訓練權重。progress (bool) – 如果為 True，則向 stderr 顯示下載進度條。預設為 True。
**kwargs – 傳遞給
torchvision.models.optical_flow.RAFT基類的引數。有關此類別的更多詳細資訊，請參閱 原始碼。
- class torchvision.models.optical_flow.Raft_Large_Weights(value)[原始碼]¶
上面的模型構建器接受以下值作為
weights引數。Raft_Large_Weights.DEFAULT等同於Raft_Large_Weights.C_T_SKHT_V2。您也可以使用字串，例如weights='DEFAULT'或weights='C_T_V1'。此處報告的指標如下。
epe是“端點誤差”，表示預測的光流與其真實值之間的畫素距離。這是在所有影像的所有畫素上平均計算的。per_image_epe類似，但平均方式不同：首先在每張影像上獨立計算 epe，然後對所有影像取平均值。這對應於原始論文中的“Fl-epe”（有時寫為“F1-epe”），僅在 Kitti 上使用。fl-all也是一個特定於 Kitti 的指標，由資料集作者定義並用於 Kitti 排行榜。它對應於畫素的平均值，這些畫素的 epe 小於 3 畫素或小於光流 2-範數的 5%。Raft_Large_Weights.C_T_V1:
這些權重從原始論文中移植而來。它們在
FlyingChairs+FlyingThings3D資料集上訓練。epe（在 Sintel-Train-Cleanpass 上）
1.4411
epe（在 Sintel-Train-Finalpass 上）
2.7894
per_image_epe（在 Kitti-Train 上）
5.0172
fl_all（在 Kitti-Train 上）
17.4506
最小尺寸
height=128, width=128
引數數量
5257536
訓練方案
GFLOPS
211.01
檔案大小
20.1 MB
推理轉換可在
Raft_Large_Weights.C_T_V1.transforms中獲得，並執行以下預處理操作：接受PIL.Image、批處理的(B, C, H, W)和單個的(C, H, W)影像torch.Tensor物件。影像被重新縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_V2:
這些權重是在
FlyingChairs+FlyingThings3D資料集上從頭開始訓練的。epe（在 Sintel-Train-Cleanpass 上）
1.3822
epe（在 Sintel-Train-Finalpass 上）
2.7161
per_image_epe（在 Kitti-Train 上）
4.5118
fl_all（在 Kitti-Train 上）
16.0679
最小尺寸
height=128, width=128
引數數量
5257536
訓練方案
GFLOPS
211.01
檔案大小
20.1 MB
推理轉換可在
Raft_Large_Weights.C_T_V2.transforms中獲得，並執行以下預處理操作：接受PIL.Image、批處理的(B, C, H, W)和單個的(C, H, W)影像torch.Tensor物件。影像被重新縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V1:
這些權重從原始論文中移植而來。它們在
FlyingChairs+FlyingThings3D資料集上訓練，並在 Sintel 上微調。Sintel 微調步驟結合了Sintel、KittiFlow、HD1K和FlyingThings3D(clean pass) 資料集。epe（在 Sintel-Test-Cleanpass 上）
1.94
epe（在 Sintel-Test-Finalpass 上）
3.18
最小尺寸
height=128, width=128
引數數量
5257536
訓練方案
GFLOPS
211.01
檔案大小
20.1 MB
推理轉換可在
Raft_Large_Weights.C_T_SKHT_V1.transforms中獲得，並執行以下預處理操作：接受PIL.Image、批處理的(B, C, H, W)和單個的(C, H, W)影像torch.Tensor物件。影像被重新縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V2:
這些權重是從頭開始訓練的。它們在
FlyingChairs+FlyingThings3D資料集上預訓練，然後在 Sintel 上微調。Sintel 微調步驟結合了Sintel、KittiFlow、HD1K和FlyingThings3D(clean pass) 資料集。也可作為Raft_Large_Weights.DEFAULT使用。epe（在 Sintel-Test-Cleanpass 上）
1.819
epe（在 Sintel-Test-Finalpass 上）
3.067
最小尺寸
height=128, width=128
引數數量
5257536
訓練方案
GFLOPS
211.01
檔案大小
20.1 MB
推理轉換可在
Raft_Large_Weights.C_T_SKHT_V2.transforms中獲得，並執行以下預處理操作：接受PIL.Image、批處理的(B, C, H, W)和單個的(C, H, W)影像torch.Tensor物件。影像被重新縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V1:
這些權重從原始論文中移植而來。它們在
FlyingChairs+FlyingThings3D資料集上預訓練，在 Sintel 上微調，然後在KittiFlow上微調。Sintel 微調步驟如上所述。fl_all（在 Kitti-Test 上）
5.1
最小尺寸
height=128, width=128
引數數量
5257536
訓練方案
GFLOPS
211.01
檔案大小
20.1 MB
推理轉換可在
Raft_Large_Weights.C_T_SKHT_K_V1.transforms中獲得，並執行以下預處理操作：接受PIL.Image、批處理的(B, C, H, W)和單個的(C, H, W)影像torch.Tensor物件。影像被重新縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V2:
這些權重是從頭開始訓練的。它們在
FlyingChairs+FlyingThings3D資料集上預訓練，在 Sintel 上微調，然後在KittiFlow上微調。Sintel 微調步驟如上所述。fl_all（在 Kitti-Test 上）
5.19
最小尺寸
height=128, width=128
引數數量
5257536
訓練方案
GFLOPS
211.01
檔案大小
20.1 MB
推理轉換可在
Raft_Large_Weights.C_T_SKHT_K_V2.transforms中獲得，並執行以下預處理操作：接受PIL.Image、批處理的(B, C, H, W)和單個的(C, H, W)影像torch.Tensor物件。影像被重新縮放到[-1.0, 1.0]。
使用 raft_large 的示例
