HybridNets

開始之前

請在已安裝 Python>=3.7 環境和 PyTorch>=1.10 的環境中開始。要安裝 PyTorch，請參閱 https://pytorch.com.tw/get-started/locally/。要安裝 HybridNets 依賴項，請執行以下操作：

pip install -qr https://raw.githubusercontent.com/datvuthanh/HybridNets/main/requirements.txt  # install dependencies

模型描述

HybridNets 是一個用於多工的端到端感知網路。我們的工作重點是交通目標檢測、可行駛區域分割和車道檢測。HybridNets 可以在嵌入式系統上即時執行，並在 BDD100K 資料集上實現了 SOTA 目標檢測和車道檢測。

結果

交通目標檢測

模型	召回率 (%)	mAP@0.5 (%)
MultiNet	81.3	60.2
DLT-Net	89.4	68.4
Faster R-CNN	77.2	55.6
YOLOv5s	86.8	77.2
YOLOP	89.2	76.5
HybridNets	92.8	77.3

可行駛區域分割

模型	可行駛區域 mIoU (%)
MultiNet	71.6
DLT-Net	71.3
PSPNet	89.6
YOLOP	91.5
HybridNets	90.5

車道線檢測

模型	準確率 (%)	車道線 IoU (%)
Enet	34.12	14.64
SCNN	35.79	15.84
Enet-SAD	36.56	16.02
YOLOP	70.5	26.2
HybridNets	85.4	31.6

從 PyTorch Hub 載入

此示例載入預訓練的 HybridNets 模型並傳入影像進行推理。

import torch

# load model
model = torch.hub.load('datvuthanh/hybridnets', 'hybridnets', pretrained=True)

#inference
img = torch.randn(1,3,640,384)
features, regression, classification, anchors, segmentation = model(img)

引用

如果您發現我們的論文和程式碼對您的研究有用，請考慮點贊和引用

@misc{vu2022hybridnets,
      title={HybridNets: End-to-End Perception Network}, 
      author={Dat Vu and Bao Ngo and Hung Phan},
      year={2022},
      eprint={2203.09035},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}