快捷方式

⚠️ 通知:維護有限

該專案不再積極維護。現有版本仍然可用,但沒有計劃中的更新、錯誤修復、新功能或安全補丁。使用者應注意,漏洞可能無法得到解決。

管理 API

TorchServe 提供以下 API,允許您在執行時管理工作流

  1. 註冊工作流

  2. 描述工作流狀態

  3. 登出工作流

  4. 列出已註冊的工作流

工作流管理 API 預設監聽埠 8081,並且只能從 localhost 訪問。要更改預設設定,請參閱TorchServe 配置

註冊工作流

POST /workflows

  • url - 工作流歸檔檔案下載 url。支援以下位置

    • 本地工作流歸檔檔案 (.war);檔案必須位於 workflow_store 資料夾中(而不是子資料夾中)。

    • 使用 HTTP(s) 協議的 URI。TorchServe 可以從網際網路下載 .war 檔案。

  • workflow_name - 工作流的名稱;此名稱將在其他 API 中用作路徑的一部分,格式為 {workflow_name}。如果此引數不存在,將使用 MANIFEST.json 中的 modelName

curl -X POST  "https://:8081/workflows?url=https://<public_url>/myworkflow.mar"

{
  "status": "Workflow myworkflow has been registered and scaled successfully."
}

工作流注冊 API 解析工作流歸檔檔案 (.war) 中提供的工作流規範檔案 (.yaml),並使用規範中提供的配置將 DAG 中指定的所有模型註冊到 TorchServe。

描述工作流

GET /workflows/{workflow_name}

使用描述工作流 API 獲取工作流詳情

curl https://:8081/workflows/myworkflow
[
  {
    "workflowName": "myworkflow",
    "workflowUrl": "myworkflow.war",
    "minWorkers": 1,
    "maxWorkers": 1,
    "batchSize": 8,
    "maxBatchDelay": 5000,
    "workflowDag": "{preprocessing=[m1], m1=[postprocessing]}"
  }
]

登出工作流

DELETE /workflows/{workflow_name}

使用登出工作流 API 從 TorchServe 登出工作流以釋放系統資源

curl -X DELETE https://:8081/workflows/myworkflow

{
  "status": "Workflow \"myworkflow\" unregistered"
}

列出工作流

GET /models

  • limit - (可選)要返回的最大專案數。它作為查詢引數傳遞。預設值為 100

  • next_page_token - (可選)查詢下一頁。它作為查詢引數傳遞。此值由上一個 API 呼叫返回。

使用列表工作流 API 查詢當前已註冊的工作流

curl "https://:8081/workflows"

此 API 支援分頁

curl "https://:8081/workflows?limit=2&next_page_token=2"

{
  "nextPageToken": "4",
  "workflows": [
    {
      "workflowName": "myworkflow1",
      "workflowUrl": "myworkflow1.war"
    },
    {
      "workflowName": "myworkflow2",
      "workflowUrl": "myworkflow2.war"
    }
  ]
}

文件

訪問 PyTorch 全面的開發者文件

檢視文件

教程

獲取針對初學者和高階開發者的深入教程

檢視教程

資源

查詢開發資源並獲得問題解答

檢視資源