keypointrcnn_resnet50_fpn¶
- torchvision.models.detection.keypointrcnn_resnet50_fpn(*, weights: Optional[KeypointRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, num_keypoints: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) KeypointRCNN[source]¶
構建一個帶有 ResNet-50-FPN 主幹網路的關鍵點 R-CNN 模型。
警告
檢測模組處於 Beta 階段，不保證向後相容性。
參考：Mask R-CNN。
模型的輸入預期是一個張量列表，每個張量的形狀為
[C, H, W]，每個張量對應一張影像，並且值應在0-1範圍內。不同影像可以有不同的大小。模型的行為根據其處於訓練模式還是評估模式而變化。
在訓練期間，模型需要輸入張量和目標（字典列表），其中包含
boxes (
FloatTensor[N, 4])： ground-truth 框，格式為[x1, y1, x2, y2]，其中0 <= x1 < x2 <= W且0 <= y1 < y2 <= H。labels (
Int64Tensor[N])： 每個 ground-truth 框的類別標籤keypoints (
FloatTensor[N, K, 3])： 每個N個例項的K個關鍵點位置，格式為[x, y, visibility]，其中visibility=0表示該關鍵點不可見。
在訓練期間，模型返回一個
Dict[Tensor]，其中包含 RPN 和 R-CNN 的分類和迴歸損失，以及關鍵點損失。在推理期間，模型僅需要輸入張量，並返回後處理的預測結果，格式為
List[Dict[Tensor]]，每個輸入影像對應一個。Dict 的欄位如下，其中N是檢測到的例項數量boxes (
FloatTensor[N, 4])： 預測框，格式為[x1, y1, x2, y2]，其中0 <= x1 < x2 <= W且0 <= y1 < y2 <= H。labels (
Int64Tensor[N])： 每個例項的預測標籤scores (
Tensor[N])： 每個例項的得分keypoints (
FloatTensor[N, K, 3])： 預測關鍵點的位置，格式為[x, y, v]。
有關輸出的更多詳細資訊，請參閱例項分割模型。
Keypoint R-CNN 可以匯出為 ONNX 格式，用於具有固定批次大小和固定尺寸輸入影像的情況。
示例
>>> model = torchvision.models.detection.keypointrcnn_resnet50_fpn(weights=KeypointRCNN_ResNet50_FPN_Weights.DEFAULT) >>> model.eval() >>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)] >>> predictions = model(x) >>> >>> # optionally, if you want to export the model to ONNX: >>> torch.onnx.export(model, x, "keypoint_rcnn.onnx", opset_version = 11)
- 引數：
weights (
KeypointRCNN_ResNet50_FPN_Weights, 可選) – 要使用的預訓練權重。有關詳細資訊和可能的值，請參閱下方的KeypointRCNN_ResNet50_FPN_Weights。預設情況下，不使用預訓練權重。progress (bool) – 如果為 True，則在 stderr 中顯示下載進度條
num_classes (int, 可選) – 模型的輸出類別數（包括背景）
num_keypoints (int, 可選) – 關鍵點數量
weights_backbone (
ResNet50_Weights, 可選) – 主幹網路的預訓練權重。trainable_backbone_layers (int, 可選) – 從最後一個塊開始的可訓練（未凍結）層數。有效值介於 0 和 5 之間，其中 5 表示所有主幹網路層都可訓練。如果傳入
None（預設值），此值將設定為 3。
- class torchvision.models.detection.KeypointRCNN_ResNet50_FPN_Weights(value)[source]¶
上面的模型構建器接受以下值作為
weights引數。KeypointRCNN_ResNet50_FPN_Weights.DEFAULT等同於KeypointRCNN_ResNet50_FPN_Weights.COCO_V1。您也可以使用字串，例如weights='DEFAULT'或weights='COCO_LEGACY'。KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY:
這些權重是透過遵循與論文中相似的訓練方法產生的，但使用了早期 epoch 的檢查點。
box_map (在 COCO-val2017 上)
50.6
kp_map (在 COCO-val2017 上)
61.1
類別
無人物, 人物
關鍵點名稱
鼻子, 左眼, 右眼, … (省略 14 個)
最小尺寸
height=1, width=1
引數數量
59137258
訓練方法
GFLOPS
133.92
檔案大小
226.1 MB
推理變換可在
KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY.transforms中找到，並執行以下預處理操作：接受PIL.Image、批處理(B, C, H, W)和單個(C, H, W)影像torch.Tensor物件。影像被縮放到[0.0, 1.0]範圍。KeypointRCNN_ResNet50_FPN_Weights.COCO_V1:
這些權重是透過遵循與論文中相似的訓練方法產生的。也可作為
KeypointRCNN_ResNet50_FPN_Weights.DEFAULT使用。box_map (在 COCO-val2017 上)
54.6
kp_map (在 COCO-val2017 上)
65.0
類別
無人物, 人物
關鍵點名稱
鼻子, 左眼, 右眼, … (省略 14 個)
最小尺寸
height=1, width=1
引數數量
59137258
訓練方法
GFLOPS
137.42
檔案大小
226.1 MB
推理變換可在
KeypointRCNN_ResNet50_FPN_Weights.COCO_V1.transforms中找到，並執行以下預處理操作：接受PIL.Image、批處理(B, C, H, W)和單個(C, H, W)影像torch.Tensor物件。影像被縮放到[0.0, 1.0]範圍。
使用
keypointrcnn_resnet50_fpn的示例
