• 文件 >
  • TorchServe 模型快照
快捷方式

⚠️ 注意:維護有限

此專案不再積極維護。現有版本仍然可用,但沒有計劃的更新、錯誤修復、新功能或安全補丁。使用者應注意,漏洞可能不會得到解決。

TorchServe 模型快照

TorchServe 在會話之間保留伺服器執行時配置,以便經歷計劃內或計劃外服務停止的 TorchServe 例項可以在重啟時恢復其狀態。

注意:當前快照不支援工作流。

TorchServe 的快照包含以下內容

  • 伺服器配置,包括:正在執行哪些模型,這些模型的哪些版本,以及每個模型有多少活動的工作程序。

  • 首次啟動 TorchServe 時使用的預設伺服器配置。

在以下情況下會生成快照 -

  • 成功啟動後,伺服器將其當前配置儲存在帶時間戳的快照檔案 ./logs/config/ 中-startup.cfg

  • 如果使用者以更改伺服器執行時配置的方式呼叫管理 API,快照會儲存到 ./logs/config/ 中-snapshot.cfg

  • 當伺服器使用 torchserve --stop 命令有意關閉時,快照會儲存到 ./logs/configs/ 中-shutdown.cfg

使用者可以使用快照按如下方式恢復 TorchServe 的狀態

  • 如果在啟動 TorchServe 時沒有透過 --ts-config-file 標誌提供配置檔案,則使用 ./logs/configs 中最新的快照進行啟動。

  • 如果啟動時沒有透過 --ts-config-file 標誌提供配置檔案且沒有可用的快照,則 TorchServe 將使用預設配置啟動。

  • 使用者透過指定此配置檔案來重啟伺服器:torchserve --start --model-store <模型倉庫> --ts-config <已知良好配置快照>

如果使用者希望在不使用此彈性功能的情況下啟動,可以使用以下命令啟動伺服器

torchserve --start --model-store <模型倉庫> --no-config-snapshots

這會阻止伺服器儲存配置快照檔案。

快照預設儲存在 {LOG_LOCATION}\config 目錄中,其中 {LOG_LOCATION} 是 TorchServe 可以使用的系統環境變數。如果未設定此變數,快照將儲存在 .\log\config 目錄中

注意 :

  1. 如果在從快照恢復時啟動 TorchServe,透過 –models 引數傳遞的模型將被忽略。

  2. 對於 Windows,如果未生成關機快照檔案,則可以使用上次的快照檔案。

文件

查閱 PyTorch 的全面開發者文件

檢視文件

教程

獲取面向初學者和高階開發者的深度教程

檢視教程

資源

查詢開發資源並獲得問題解答

檢視資源