⚠️ 通知:有限維護
此專案不再積極維護。雖然現有版本仍然可用,但沒有計劃中的更新、錯誤修復、新功能或安全補丁。使用者應注意,漏洞可能不會得到解決。
故障排除指南¶
本節介紹了使用 TorchServe 部署 PyTorch 模型時遇到的常見問題及其相應的故障排除步驟。
部署和配置問題¶
“無法繫結到地址: http://127.0.0.1:8080”,埠 8080/8081 已被佔用。¶
通常,埠號 8080/8081 已被其他應用程式或服務使用,可以使用命令 ss -ntl | grep 8080 進行驗證。解決此問題有兩種方法:殺死使用埠 8080/8081 的程序,或者在 8080 和 8081 以外的其他埠上執行 TorchServe。
有關更多詳細資訊,請參閱 configuration.md。
相關問題:[542]
啟動 TorchServe 時出現“java.lang.NoSuchMethodError”。[473]¶
此錯誤通常在未安裝或未使用 Java 17 時發生。TorchServe 需要 Java 17,不支援舊版本的 Java。
相關問題:[#473]
無法傳送大檔案進行推理請求?¶
預設的最大請求大小和響應大小約為 6.5 Mb。因此,任何大於 6.5MB 的檔案都無法上傳。要解決此問題,請在 config.properties 檔案中更新 max_request_size 和 max_response_size,並使用此配置檔案啟動 TorchServe。
$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties
您還可以使用環境變數設定這些值。有關更多詳細資訊,請參閱 configuration.md。相關問題:[#335]
Model-archiver¶
如何新增模型特定的自定義依賴項?¶
在建立 mar 檔案時,可以使用 --extra-files 標誌新增您的依賴檔案。這些依賴檔案可以是任何型別,如 zip、egg、json 等。您可能需要編寫自定義處理程式來按需使用這些檔案。
相關問題:[#566]
如何解決模型特定的 Python 依賴項?¶
在建立 mar 檔案時,可以使用 “--requirements-file / -r” 標誌提供 requirements.txt 檔案。您可以參考 waveglow 文字轉語音合成器示例
相關問題:[#566] 有關更多詳細資訊,請參閱 Torch model archiver cli。
我已在 mar 檔案中添加了 requirements.txt,但列出的包未被安裝。¶
預設情況下,模型特定的自定義 Python 包功能是停用的,透過將 install_py_dep_per_model 設定為 true 來啟用此功能。有關更多詳細資訊,請參閱 允許模型特定的自定義 Python 包。
後端工作執行緒監控執行緒中斷或後端工作執行緒程序死亡錯誤。¶
此問題主要發生在模型初始化失敗時,這可能是由於處理程式的初始化函式中程式碼錯誤引起的。當缺少包/模組時,也會觀察到此錯誤。