⚠️ 注意：有限維護

本專案已不再積極維護。雖然現有版本仍然可用，但沒有計劃進行更新、錯誤修復、新功能開發或安全補丁。使用者應注意，潛在漏洞可能不會得到解決。

TorchServe 預設推理處理器

TorchServe 提供以下開箱即用的推理處理器。預計每個處理器使用的模型都支援批次推理。

影像分類器

• 描述：處理在 ImageNet 資料集上訓練的影像分類模型。

• 輸入：RGB 影像

• 輸出：影像的前 5 個預測結果及其相應機率的批次

更多詳情請參閱示例

影像分割器

• 描述：處理在 ImageNet 資料集上訓練的影像分割模型。

• 輸入：RGB 影像

• 輸出：輸出形狀為 [N, CL H W]，N - 批次大小，CL - 類別數量，H - 高度，W - 寬度。

更多詳情請參閱示例

目標檢測器

• 描述：處理目標檢測模型。

• 輸入：RGB 影像

• 輸出：檢測到的類別列表和邊界框列表的批次

注意：我們建議執行 torchvision>0.6，否則 object_detector 預設處理器將僅在預設 GPU 裝置上執行

更多詳情請參閱示例

文字分類器

• 描述：處理在 AG_NEWS 資料集上訓練的模型。

• 輸入：文字檔案

• 輸出：輸入文字的類別。（不支援批次處理）

更多詳情請參閱示例

有關可用處理器的更全面列表，請務必查閱示例頁面

常見特性

index_to_name.json

image_classifier、text_classifier 和 object_detector 都可以自動將數字類別（0,1,2…）對映到易讀的字串。為此，只需在您的模型存檔中包含一個檔案 index_to_name.json，其中包含從類別編號（字串）到易讀名稱（也是字串）的對映。您可以在此處檢視一些示例

• 影像分類器

• 文字分類器

• 目標檢測器

貢獻

我們歡迎新的貢獻處理器，如果現有預設處理器未涵蓋您的用例，請按照以下步驟進行貢獻

1. 編寫一個派生自BaseHandler 的新類。將其作為單獨檔案新增到 ts/torch_handler/ 中

2. 更新 model-archiver/model_packaging.py 以新增您的類名

3. 執行並更新unit_tests 中的單元測試。一如既往，在提交前務必執行torchserve_sanity.py。