ResNeSt

import torch
# get list of models
torch.hub.list('zhanghang1989/ResNeSt', force_reload=True)
# load pretrained models, using ResNeSt-50 as an example
model = torch.hub.load('zhanghang1989/ResNeSt', 'resnest50', pretrained=True)
model.eval()

所有預訓練模型都要求輸入影像以相同的方式進行歸一化，即由形狀為 (3 x H x W) 的 3 通道 RGB 影像組成的小批次資料，其中 H 和 W 預計至少為 224。影像必須載入到 [0, 1] 範圍內，然後使用 mean = [0.485, 0.456, 0.406] 和 std = [0.229, 0.224, 0.225] 進行歸一化。

這是一個示例執行。

# Download an example image from the pytorch website
import urllib
url, filename = ("https://github.com/pytorch/hub/raw/master/images/dog.jpg", "dog.jpg")
try: urllib.URLopener().retrieve(url, filename)
except: urllib.request.urlretrieve(url, filename)

# sample execution (requires torchvision)
from PIL import Image
from torchvision import transforms
input_image = Image.open(filename)
preprocess = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
input_tensor = preprocess(input_image)
input_batch = input_tensor.unsqueeze(0) # create a mini-batch as expected by the model

# move the input and model to GPU for speed if available
if torch.cuda.is_available():
    input_batch = input_batch.to('cuda')
    model.to('cuda')

with torch.no_grad():
    output = model(input_batch)
# Tensor of shape 1000, with confidence scores over ImageNet's 1000 classes
print(output[0])
# The output has unnormalized scores. To get probabilities, you can run a softmax on it.
probabilities = torch.nn.functional.softmax(output[0], dim=0)
print(probabilities)

# Download ImageNet labels
!wget https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt

# Read the categories
with open("imagenet_classes.txt", "r") as f:
    categories = [s.strip() for s in f.readlines()]
# Show top categories per image
top5_prob, top5_catid = torch.topk(probabilities, 5)
for i in range(top5_prob.size(0)):
    print(categories[top5_catid[i]], top5_prob[i].item())

模型描述

ResNeSt 模型來源於 ResNeSt: 分裂注意力網路 論文。

儘管影像分類模型在最近持續取得進展，但大多數下游應用（如目標檢測和語義分割）仍採用 ResNet 變體作為骨幹網路，因為它們結構簡單且模組化。我們提出了一種簡單而模組化的分裂注意力（Split-Attention）塊，它實現了跨特徵圖組的注意力。透過像 ResNet 風格一樣堆疊這些分裂注意力塊，我們獲得了一種新的 ResNet 變體，我們稱之為 ResNeSt。我們的網路保留了 ResNet 的整體結構，以便直接用於下游任務，而不會引入額外的計算成本。ResNeSt 模型在相似模型複雜度的網路中表現出色，並且也有助於包括目標檢測、例項分割和語義分割在內的下游任務。

	裁剪尺寸	PyTorch
ResNeSt-50	224	81.03
ResNeSt-101	256	82.83
ResNeSt-200	320	83.84
ResNeSt-269	416	84.54

參考文獻

• ResNeSt: 分裂注意力網路.