maskrcnn_resnet50_fpn

torchvision.models.detection.maskrcnn_resnet50_fpn(*, weights: Optional[MaskRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) → MaskRCNN

來自 Mask R-CNN 論文的、帶有 ResNet-50-FPN 主幹網路的 Mask R-CNN 模型。

警告

檢測模組處於 Beta 階段，不保證向後相容性。

模型的輸入應為一個張量列表，每個張量的形狀為 [C, H, W]，分別對應每張影像，且值應在 0-1 範圍內。不同影像可以具有不同大小。

模型的行為會根據其處於訓練模式還是評估模式而改變。

在訓練期間，模型需要輸入張量和目標（字典列表），其中包含

• boxes (FloatTensor[N, 4]): 地面真實框，格式為 [x1, y1, x2, y2]，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels (Int64Tensor[N]): 每個地面真實框的類別標籤

• masks (UInt8Tensor[N, H, W]): 每個例項的分割二值掩碼

在訓練期間，模型返回一個 Dict[Tensor]，包含 RPN 和 R-CNN 的分類和迴歸損失，以及掩碼損失。

在推理期間，模型僅需要輸入張量，並返回後處理的預測結果，格式為 List[Dict[Tensor]]，列表中的每個字典對應一張輸入影像。該 Dict 的欄位如下，其中 N 為檢測到的例項數量

• boxes (FloatTensor[N, 4]): 預測框，格式為 [x1, y1, x2, y2]，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels (Int64Tensor[N]): 每個例項的預測標籤

• scores (Tensor[N]): 每個例項的得分

• masks (UInt8Tensor[N, 1, H, W]): 每個例項的預測掩碼，值在 0-1 範圍內。為了獲得最終的分割掩碼，可以對軟掩碼進行閾值處理，通常使用 0.5 (mask >= 0.5)。

有關輸出以及如何繪製掩碼的更多詳細資訊，請參閱 例項分割模型。

Mask R-CNN 可以匯出到 ONNX，適用於固定批次大小和固定尺寸的輸入影像。

示例

>>> model = torchvision.models.detection.maskrcnn_resnet50_fpn(weights=MaskRCNN_ResNet50_FPN_Weights.DEFAULT)
>>> model.eval()
>>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)]
>>> predictions = model(x)
>>>
>>> # optionally, if you want to export the model to ONNX:
>>> torch.onnx.export(model, x, "mask_rcnn.onnx", opset_version = 11)

引數：

• weights (MaskRCNN_ResNet50_FPN_Weights, optional) – 要使用的預訓練權重。有關更多詳細資訊和可能的值，請參閱下面的 MaskRCNN_ResNet50_FPN_Weights。預設情況下，不使用預訓練權重。

• progress (bool, optional) – 如果為 True，則向標準錯誤輸出顯示下載進度條。預設為 True。

• num_classes (int, optional) – 模型的輸出類別數量（包括背景）

• weights_backbone (ResNet50_Weights, optional) – 主幹網路的預訓練權重。

• trainable_backbone_layers (int, optional) – 從最終塊開始的可訓練（未凍結）層數。有效值介於 0 和 5 之間，其中 5 表示所有主幹網路層都可訓練。如果傳遞 None（預設值），則此值設定為 3。

• **kwargs – 傳遞給 torchvision.models.detection.mask_rcnn.MaskRCNN 基類的引數。有關此類別的更多詳細資訊，請參閱 原始碼。

class torchvision.models.detection.MaskRCNN_ResNet50_FPN_Weights(value)

上述模型構建器接受以下值作為 weights 引數。MaskRCNN_ResNet50_FPN_Weights.DEFAULT 等同於 MaskRCNN_ResNet50_FPN_Weights.COCO_V1。您也可以使用字串，例如 weights='DEFAULT' 或 weights='COCO_V1'。

MaskRCNN_ResNet50_FPN_Weights.COCO_V1:

這些權重是透過遵循與論文中類似的訓練方法產生的。也可透過 MaskRCNN_ResNet50_FPN_Weights.DEFAULT 獲得。

box_map (在 COCO-val2017 資料集上)	37.9
mask_map (在 COCO-val2017 資料集上)	34.6
類別	__background__、person、bicycle、…… (省略 88 項)
最小尺寸	height=1, width=1
引數數量	44401393
訓練方法	連結
GFLOPS	134.38
檔案大小	169.8 MB

推理變換可在 MaskRCNN_ResNet50_FPN_Weights.COCO_V1.transforms 中獲得，並執行以下預處理操作：接受 PIL.Image、批處理的 (B, C, H, W) 和單個的 (C, H, W) 影像 torch.Tensor 物件。影像被縮放到 [0.0, 1.0]。

使用 maskrcnn_resnet50_fpn 的示例

視覺化實用工具

視覺化實用工具