ts.model_service 包

子模組

ts.model_service.model_service 模組

ModelService 定義了基礎模型服務的 API。

class ts.model_service.model_service.ModelService(model_name, model_dir, manifest, gpu=None)

基類: object

ModelService 封裝了模型服務使用的所有預處理、推理和後處理函式。它的定義方式靈活，易於擴充套件以支援不同的框架。

handle(data, context)

向後相容的處理函式。

引數:

• data –

• context –

返回:

abstract inference(data)

用於執行預處理、推理和後處理函式的包裝函式。

引數:

data (物件列表) – 來自請求的原始輸入。

返回:

要返回的資料

返回型別:

要返回給客戶端的輸出列表。

initialize(context)

內部初始化 ModelService。

引數:

context – MMS 上下文物件

返回:

abstract ping()

用於獲取系統健康狀態的 Ping。

返回:

一條訊息，“health”: “healthy!”，表示系統健康。

返回型別:

字串

signature()

模型服務的簽名。

返回:

模型服務簽名。

返回型別:

字典

class ts.model_service.model_service.SingleNodeService(model_name, model_dir, manifest, gpu=None)

基類: ModelService

SingleNodeService 定義了載入單個模型的模型服務的抽象。

inference(data)

用於執行預處理、推理和後處理函式的包裝函式。

引數:

data (物件列表) – 來自請求的原始輸入。

返回:

要返回的資料

返回型別:

要返回給客戶端的輸出列表。

模組內容

模型服務程式碼