快捷方式

raft_small

torchvision.models.optical_flow.raft_small(*, weights: Optional[Raft_Small_Weights] = None, progress=True, **kwargs) RAFT[source]

來自 RAFT 論文《RAFT: Recurrent All Pairs Field Transforms for Optical Flow》的“small”模型。

請參閱下面的示例,瞭解如何使用此模型。

引數:
  • weights (Raft_Small_Weights, 可選) – 要使用的預訓練權重。有關更多詳細資訊和可能的值,請參閱下面的 Raft_Small_Weights。預設情況下,不使用預訓練權重。

  • progress (bool) – 如果為 True,則在 stderr 中顯示下載進度條。預設值為 True。

  • **kwargs** – 傳遞給 torchvision.models.optical_flow.RAFT 基類的引數。有關此類的更多詳細資訊,請參閱原始碼

class torchvision.models.optical_flow.Raft_Small_Weights(value)[source]

上面的模型構建器接受以下值作為 weights 引數。Raft_Small_Weights.DEFAULT 等同於 Raft_Small_Weights.C_T_V2。您也可以使用字串,例如 weights='DEFAULT'weights='C_T_V1'

此處報告的指標如下。epe 是“端點誤差”,表示預測光流與其真實值之間的距離(以畫素為單位)。這是對所有影像的所有畫素進行平均。per_image_epe 類似,但平均方式不同:先獨立計算每張影像的 epe,然後對所有影像進行平均。這對應於原始論文中的“Fl-epe”(有時寫作“F1-epe”),並且僅用於 Kitti 資料集。fl-all 也是 Kitti 特定的指標,由資料集作者定義,用於 Kitti 排行榜。它對應於 epe 小於 3px 或小於光流 L2 範數 5% 的畫素的平均值。

Raft_Small_Weights.C_T_V1:

這些權重從原始論文移植而來。它們在 FlyingChairs + FlyingThings3D 上訓練。

epe(在 Sintel-Train-Cleanpass 上)

2.1231

epe(在 Sintel-Train-Finalpass 上)

3.279

per_image_epe(在 Kitti-Train 上)

7.6557

fl_all(在 Kitti-Train 上)

25.2801

最小尺寸

高=128,寬=128

引數數量

990162

訓練方法

連結

GFLOPS

47.66

檔案大小

3.8 MB

推理變換可在 Raft_Small_Weights.C_T_V1.transforms 中獲得,並執行以下預處理操作:接受 PIL.Image、批處理的 (B, C, H, W) 和單張 (C, H, W) 影像 torch.Tensor 物件。影像被重新縮放到 [-1.0, 1.0]

Raft_Small_Weights.C_T_V2:

這些權重在 FlyingChairs + FlyingThings3D 上從頭開始訓練。也可用作 Raft_Small_Weights.DEFAULT

epe(在 Sintel-Train-Cleanpass 上)

1.9901

epe(在 Sintel-Train-Finalpass 上)

3.2831

per_image_epe(在 Kitti-Train 上)

7.5978

fl_all(在 Kitti-Train 上)

25.2369

最小尺寸

高=128,寬=128

引數數量

990162

訓練方法

連結

GFLOPS

47.66

檔案大小

3.8 MB

推理變換可在 Raft_Small_Weights.C_T_V2.transforms 中獲得,並執行以下預處理操作:接受 PIL.Image、批處理的 (B, C, H, W) 和單張 (C, H, W) 影像 torch.Tensor 物件。影像被重新縮放到 [-1.0, 1.0]

使用 raft_small 的示例

光流:使用 RAFT 模型預測運動

光流:使用 RAFT 模型預測運動

文件

獲取 PyTorch 的全面開發者文件

檢視文件

教程

獲取針對初學者和高階開發者的深入教程

檢視教程

資源

查詢開發資源並獲得解答

檢視資源