⚠️ 注意:維護有限
此專案不再積極維護。現有版本仍然可用,但沒有計劃的更新、錯誤修復、新功能或安全補丁。使用者應注意,漏洞可能不會得到解決。
TorchServe 模型快照¶
TorchServe 在會話之間保留伺服器執行時配置,以便經歷計劃內或計劃外服務停止的 TorchServe 例項可以在重啟時恢復其狀態。
注意:當前快照不支援工作流。
TorchServe 的快照包含以下內容
伺服器配置,包括:正在執行哪些模型,這些模型的哪些版本,以及每個模型有多少活動的工作程序。
首次啟動 TorchServe 時使用的預設伺服器配置。
在以下情況下會生成快照 -
成功啟動後,伺服器將其當前配置儲存在帶時間戳的快照檔案 ./logs/config/ 中
-startup.cfg 如果使用者以更改伺服器執行時配置的方式呼叫管理 API,快照會儲存到 ./logs/config/ 中
-snapshot.cfg 當伺服器使用
torchserve --stop命令有意關閉時,快照會儲存到 ./logs/configs/ 中-shutdown.cfg
使用者可以使用快照按如下方式恢復 TorchServe 的狀態
如果在啟動 TorchServe 時沒有透過
--ts-config-file標誌提供配置檔案,則使用 ./logs/configs 中最新的快照進行啟動。如果啟動時沒有透過
--ts-config-file標誌提供配置檔案且沒有可用的快照,則 TorchServe 將使用預設配置啟動。使用者透過指定此配置檔案來重啟伺服器:
torchserve --start --model-store <模型倉庫> --ts-config <已知良好配置快照>
如果使用者希望在不使用此彈性功能的情況下啟動,可以使用以下命令啟動伺服器
torchserve --start --model-store <模型倉庫> --no-config-snapshots
這會阻止伺服器儲存配置快照檔案。
快照預設儲存在 {LOG_LOCATION}\config 目錄中,其中 {LOG_LOCATION} 是 TorchServe 可以使用的系統環境變數。如果未設定此變數,快照將儲存在 .\log\config 目錄中
注意 :
如果在從快照恢復時啟動 TorchServe,透過 –models 引數傳遞的模型將被忽略。
對於 Windows,如果未生成關機快照檔案,則可以使用上次的快照檔案。