mvit_v2_s

torchvision.models.video.mvit_v2_s(*, weights: Optional[MViT_V2_S_Weights] = None, progress: bool = True, **kwargs: Any) → MViT

根據 Multiscale Vision Transformers 和 MViTv2: Improved Multiscale Vision Transformers for Classification and Detection 構建一個小型 MViTV2 架構。

警告

影片模組處於 Beta 階段，不保證向後相容性。

引數：

• weights (MViT_V2_S_Weights, optional) – 要使用的預訓練權重。詳見下方的 MViT_V2_S_Weights 以瞭解更多細節和可能的值。預設情況下，不使用預訓練權重。

• progress (bool, optional) – 如果為 True，則在 stderr 中顯示下載進度條。預設值為 True。

• **kwargs – 傳遞給 torchvision.models.video.MViT 基類的引數。請參考原始碼以瞭解有關此類的更多詳情。

class torchvision.models.video.MViT_V2_S_Weights(value)

上面的模型構建器接受以下值作為 weights 引數。MViT_V2_S_Weights.DEFAULT 等同於 MViT_V2_S_Weights.KINETICS400_V1。您也可以使用字串，例如 weights='DEFAULT' 或 weights='KINETICS400_V1'。

MViT_V2_S_Weights.KINETICS400_V1:

權重從論文中移植而來。準確率是基於影片層面估算的，引數為 frame_rate=7.5、clips_per_video=5 和 clip_len=16。也可使用 MViT_V2_S_Weights.DEFAULT。

acc@1 (在 Kinetics-400 上)	80.757
acc@5 (在 Kinetics-400 上)	94.665
最小尺寸	高度=224, 寬度=224
最小時間尺寸	16
類別	速降、空氣打鼓、回答問題等... (省略 397 個)
配方	連結
引數數量	34537744
GFLOPS	64.22
檔案大小	131.9 MB

推理轉換可在 MViT_V2_S_Weights.KINETICS400_V1.transforms 中獲取，並執行以下預處理操作：接受批次 (B, T, C, H, W) 和單個 (T, C, H, W) 影片幀 torch.Tensor 物件。使用 interpolation=InterpolationMode.BILINEAR 將幀大小調整為 resize_size=[256]，然後進行中心裁剪，裁剪尺寸為 crop_size=[224, 224]。最後，將值首先縮放到 [0.0, 1.0]，然後使用 mean=[0.45, 0.45, 0.45] 和 std=[0.225, 0.225, 0.225] 進行歸一化。最後，輸出維度會重新排列為 (..., C, T, H, W) 張量。