ts 包

子包

• ts.metrics 包
  • 子模組
  • ts.metrics.dimension 模組
  • ts.metrics.metric 模組
  • ts.metrics.metric_collector 模組
  • ts.metrics.metric_encoder 模組
  • ts.metrics.metrics_store 模組
  • ts.metrics.process_memory_metric 模組
  • ts.metrics.system_metrics 模組
  • ts.metrics.unit 模組
  • 模組內容
• ts.model_service 包
  • 子模組
  • ts.model_service.model_service 模組
  • 模組內容
• ts.protocol 包
  • 子模組
  • ts.protocol.otf_message_handler 模組
  • 模組內容
• ts.torch_handler 包
  • 子包
    • ts.torch_handler.request_envelope 包
      • 子模組
      • ts.torch_handler.request_envelope.base 模組
      • ts.torch_handler.request_envelope.body 模組
      • ts.torch_handler.request_envelope.json 模組
      • ts.torch_handler.request_envelope.kserve 模組
      • ts.torch_handler.request_envelope.kservev2 模組
      • 模組內容
    • ts.torch_handler.unit_tests 包
      • 子包
      • 子模組
      • ts.torch_handler.unit_tests.test_base_handler 模組
      • ts.torch_handler.unit_tests.test_envelopes 模組
      • ts.torch_handler.unit_tests.test_image_classifier 模組
      • ts.torch_handler.unit_tests.test_image_segmenter 模組
      • ts.torch_handler.unit_tests.test_mnist_kf 模組
      • ts.torch_handler.unit_tests.test_object_detector 模組
      • 模組內容
  • 子模組
  • ts.torch_handler.base_handler 模組
  • ts.torch_handler.contractions 模組
  • ts.torch_handler.densenet_handler 模組
  • ts.torch_handler.image_classifier 模組
  • ts.torch_handler.image_segmenter 模組
  • ts.torch_handler.object_detector 模組
  • ts.torch_handler.text_classifier 模組
  • ts.torch_handler.text_handler 模組
  • ts.torch_handler.vision_handler 模組
  • 模組內容
• ts.utils 包
  • 子模組
  • ts.utils.timeit_decorator 模組
  • ts.utils.util 模組
  • 模組內容

子模組

ts.arg_parser 模組

此模組解析透過 torchserve 命令列提供的引數。這在執行時由模型伺服器使用。

類 ts.arg_parser.ArgParser

基類: object

torchserve 和 torchserve-export 命令的引數解析器。TODO：新增 readme url

static extract_args(args=None)

static model_service_worker_args()

後端 worker 的引數解析器。接受 socket 名稱和 socket 型別。:返回

static ts_parser()

torchserve 啟動服務的引數解析器

ts.context 模組

傳入請求的上下文物件

類 ts.context.Context(model_name, model_dir, manifest, batch_size, gpu, mms_version, limit_max_image_pixels=True, metrics=None, model_yaml_config=None)

基類: object

Context 儲存與模型相關的 worker 資訊。有些在載入時固定，有些由服務設定

get_all_request_header(idx: int) → Dict[str, str]

get_request_header(idx: int, key: str) → Optional[str]

get_request_id(idx: int = 0) → Optional[str]

get_response_content_type(idx: int) → Optional[str]

get_response_headers(idx: int) → Dict[str, str]

get_response_status(idx: int) → Tuple[int, str]

get_sequence_id(idx: int) → str

屬性 metrics

屬性 request_processor

set_all_response_status(code: int = 200, phrase: str = '') → None

設定單個請求的狀態碼 :引數 phrase: :引數 code: :返回

set_response_content_type(idx: int, value: str) → None

set_response_header(idx, key, value)

set_response_status(code: int = 200, phrase: str = '', idx: int = 0)

設定單個請求的狀態碼 :引數 phrase: :引數 idx: 傳送到 handle() 方法的列表 (data) 中的資料索引 :引數 code: :返回

屬性 system_properties

類 ts.context.RequestProcessor(request_header: dict)

基類: object

請求處理器

add_response_property(key: str, value: str) → None

get_request_properties() → dict

get_request_property(key: str) → Optional[str]

get_response_header(key: str) → Optional[str]

get_response_headers() → dict

get_response_status_code() → int

get_response_status_phrase() → Optional[str]

report_status(code, reason_phrase=None) → None

ts.model_loader 模組

模型載入器。

類 ts.model_loader.ModelLoader

基類: object

基本模型載入器類。

abstract load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True)

從檔案載入模型。

引數:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• envelope –

• limit_max_image_pixels –

返回值:

模型

class ts.model_loader.ModelLoaderFactory

基類: object

static get_model_loader()

class ts.model_loader.TsModelLoader

繼承自：ModelLoader

TorchServe 1.0 模型載入器

load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True, metrics_cache: Optional[MetricsCacheYamlImpl] = None) → Service

從檔案載入 TorchServe 1.0 模型。

引數:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• envelope –

• limit_max_image_pixels –

• metrics_cache – MetricsCacheYamlImpl 物件

返回值:

ts.model_server 模組

定義模型伺服器入口點的檔案

ts.model_server.load_properties(file_path: str) → Dict[str, str]

將屬性檔案讀入對映。

ts.model_server.start() → None

這是模型伺服器的入口點 :return

ts.model_service_worker 模組

ModelServiceWorker 是由 MMS 前端啟動的 worker。通訊訊息格式：二進位制編碼

class ts.model_service_worker.TorchModelServiceWorker(s_type: Optional[str] = None, s_name: Optional[str] = None, host_addr: Optional[str] = None, port_num: Optional[int] = None, metrics_config: Optional[str] = None, async_comm: Optional[bool] = False)

基類: object

後端 worker，用於處理模型伺服器的 python 服務程式碼

handle_connection(cl_socket)

處理 socket 連線。

引數:

cl_socket –

返回值:

handle_connection_async(cl_socket)

處理 socket 連線。

引數:

cl_socket –

返回值:

load_model(load_model_request)

期望的命令 {

“command” : “load”, 字串 “modelPath” : “/path/to/model/file”, 字串 “modelName” : “name”, 字串 “gpu” : 如果是 CPU 則為 None，否則為 gpu_id，整數 “handler” : 如果提供，則是服務處理程式的入口點，字串 “envelope” : 如果提供，則是請求資料的封裝器/解封裝器名稱，字串 “batchSize” : 批次大小，整數 “limitMaxImagePixels”: 限制 pillow 影像的最大畫素數，布林值

}

引數:

load_model_request –

返回值:

run_server()

執行後端 worker 程序並監聽 socket :return

ts.service 模組

CustomService 類定義

class ts.service.Service(model_name, model_dir, manifest, entry_point, gpu, batch_size, limit_max_image_pixels=True, metrics_cache=None)

基類: object

自定義 entry_point 的包裝器

property context

predict(batch)

PREDICT COMMAND = {

“command”: “predict”, “batch”: [ REQUEST_INPUT ] } :param batch: 請求列表 :return

static retrieve_data_for_inference(batch)

REQUEST_INPUT = {

“requestId” : “111-222-3333”, “parameters” : [ PARAMETER ] } PARAMETER = {

}

“name” : 引數名稱 “contentType”: “http-content-types”, “value”: “val1” }

}

引數:

batch –

返回值:

set_cl_socket(cl_socket)

ts.service.emit_metrics(metrics)

引數:

• 傳送提供的字典中的指標。

• metrics (一個包含所有指標的字典) –

• metric_name (當鍵為) –

• object (值是一個指標) –

ts.version 模組

這是 TorchServe 的當前版本。

模組內容

此模組執行以下操作： a. 啟動模型伺服器。 b. 基於配置的模型建立端點。 c. 暴露標準的“ping”和“api-description”端點。 d. 等待處理推理請求。