⚠️ 注意:有限維護
該專案不再積極維護。現有版本仍可使用,但沒有計劃的更新、錯誤修復、新功能或安全補丁。使用者應注意,可能不會解決漏洞問題。
請求信封¶
許多模型服務系統為請求體提供簽名。例如:
資料科學家使用這些多框架系統來管理許多不同模型的部署,這些模型可能用不同的語言和框架編寫。這些平臺在模型服務之外提供額外的分析功能,包括偏差檢測、解釋和 A/B 測試。這些平臺需要一個結構良好的簽名,以便標準化跨不同框架的呼叫並理解輸入資料。然而,為了簡化對許多框架的支援,這些平臺只會將請求體直接傳遞給底層的模型伺服器。
TorchServe 目前沒有固定的請求體簽名。信封允許您自動將模型編排器所需的固定簽名轉換為扁平的 Python 列表。
用法¶
編寫處理程式時,始終應期望一個包含準備好輸入
preprocess的資料的普通 Python 列表。至關重要的是,您應假設您的處理程式程式碼在本地或模型編排器中看起來是相同的。在模型編排器後面部署 TorchServe 時,請務必在
config.properties檔案中設定相應的service_envelope。例如,如果您使用具有 JSON 格式的 Google Cloud AI Platform,則需要在config.properties檔案中新增service_envelope=json。
貢獻¶
在 ts/torch_handler/request_envelope 下新增新檔案。每個檔案只包含一個類。在 config.properties 中使用的鍵將是您編寫類的 .py 檔案的名稱。