快捷方式

⚠️ 通知:有限維護

此專案不再積極維護。雖然現有版本仍然可用,但沒有計劃中的更新、錯誤修復、新功能或安全補丁。使用者應注意,漏洞可能不會得到解決。

故障排除指南

本節介紹了使用 TorchServe 部署 PyTorch 模型時遇到的常見問題及其相應的故障排除步驟。

部署和配置問題

“無法繫結到地址: http://127.0.0.1:8080”,埠 8080/8081 已被佔用。

通常,埠號 8080/8081 已被其他應用程式或服務使用,可以使用命令 ss -ntl | grep 8080 進行驗證。解決此問題有兩種方法:殺死使用埠 8080/8081 的程序,或者在 8080 和 8081 以外的其他埠上執行 TorchServe。

有關更多詳細資訊,請參閱 configuration.md

相關問題:[542]

啟動 TorchServe 時出現“java.lang.NoSuchMethodError”。[473]

此錯誤通常在未安裝或未使用 Java 17 時發生。TorchServe 需要 Java 17,不支援舊版本的 Java。

相關問題:[#473]

無法傳送大檔案進行推理請求?

預設的最大請求大小和響應大小約為 6.5 Mb。因此,任何大於 6.5MB 的檔案都無法上傳。要解決此問題,請在 config.properties 檔案中更新 max_request_sizemax_response_size,並使用此配置檔案啟動 TorchServe。

$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties

您還可以使用環境變數設定這些值。有關更多詳細資訊,請參閱 configuration.md。相關問題:[#335]

Model-archiver

如何新增模型特定的自定義依賴項?

在建立 mar 檔案時,可以使用 --extra-files 標誌新增您的依賴檔案。這些依賴檔案可以是任何型別,如 zip、egg、json 等。您可能需要編寫自定義處理程式來按需使用這些檔案。

相關問題:[#566]

如何解決模型特定的 Python 依賴項?

在建立 mar 檔案時,可以使用 “--requirements-file / -r” 標誌提供 requirements.txt 檔案。您可以參考 waveglow 文字轉語音合成器示例

相關問題:[#566] 有關更多詳細資訊,請參閱 Torch model archiver cli

我已在 mar 檔案中添加了 requirements.txt,但列出的包未被安裝。

預設情況下,模型特定的自定義 Python 包功能是停用的,透過將 install_py_dep_per_model 設定為 true 來啟用此功能。有關更多詳細資訊,請參閱 允許模型特定的自定義 Python 包

後端工作執行緒監控執行緒中斷或後端工作執行緒程序死亡錯誤。

此問題主要發生在模型初始化失敗時,這可能是由於處理程式的初始化函式中程式碼錯誤引起的。當缺少包/模組時,也會觀察到此錯誤。

相關問題:[#667, #537]

文件

查閱 PyTorch 的全面開發者文件

檢視文件

教程

獲取針對初學者和高階開發者的深入教程

檢視教程

資源

查詢開發資源並獲得解答

檢視資源