ts.metrics 包

子模組

ts.metrics.dimension 模組

模型伺服器指標的 Dimension 類

class ts.metrics.dimension.Dimension(name, value)

基類： object

定義鍵值對的 Dimension 類

to_dict()

返回一個字典

ts.metrics.metric 模組

模型伺服器的 Metric 類

class ts.metrics.metric.Metric(name, value, unit, dimensions, request_id=None, metric_method=None)

基類： object

用於生成指標並將其列印到 worker 的標準輸出的類

reset()

將 Metric 值重置為 0

to_dict()

返回一個有序字典

update(value)

Metric 類的更新函式

引數：

value (int, float) – 要更新的指標

ts.metrics.metric_collector 模組

系統指標和程序指標指令碼的單一入口點

ts.metrics.metric_encoder 模組

用於 json 轉儲的 Metric Encoder 類

class ts.metrics.metric_encoder.MetricEncoder(*, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, sort_keys=False, indent=None, separators=None, default=None)

基類： JSONEncoder

用於對 Metric 物件進行 json 編碼的編碼器類

default(obj)

僅當物件型別為 Metric 時重寫

ts.metrics.metrics_store 模組

指標收集模組

class ts.metrics.metrics_store.MetricsStore(request_ids, model_name)

基類： object

已廢棄 用於建立、修改不同指標並將它們儲存在字典中的類

add_counter(name, value, idx=None, dimensions=None)

新增計數器指標或遞增現有計數器指標

引數：

• name (str) – 指標名稱

• value (int) – 指標值

• idx (int) – 批次中的 request_id 索引

• dimensions (list) – 指標的維度列表

add_error(name, value, dimensions=None)

新增錯誤指標 :param name: 指標名稱 :type name: str :param value: 指標值，在此情況下為 str :type value: str :param dimensions: 指標的維度列表 :type dimensions: list

add_metric(name, value, unit, idx=None, dimensions=None)

新增一個支援自定義指標的通用指標

引數：

• name (str) – 指標名稱

• value (int, float) – 指標值

• idx (int) – 批次中的 request_id 索引

• unit (str) – 指標單位

• dimensions (list) – 指標的維度列表

add_percent(name, value, idx=None, dimensions=None)

新增基於百分比的指標

引數：

• name (str) – 指標名稱

• value (int, float) – 指標值

• idx (int) – 批次中的 request_id 索引

• dimensions (list) – 指標的維度列表

add_size(name, value, idx=None, unit='MB', dimensions=None)

新增基於大小的指標

引數：

• name (str) – 指標名稱

• value (int, float) – 指標值

• idx (int) – 批次中的 request_id 索引

• unit (str) – 指標單位，此處預設為 'MB'，也支援 'kB'、'GB'

• dimensions (list) – 指標的維度列表

add_time(name, value, idx=None, unit='ms', dimensions=None)

新增基於時間的指標，如延遲，預設單位為 'ms'

引數：

• name (str) – 指標名稱

• value (int) – 指標值

• idx (int) – 批次中的 request_id 索引

• unit (str) – 指標單位，此處預設為 ms，也接受 s

• dimensions (list) – 指標的維度列表

ts.metrics.process_memory_metric 模組

在此收集程序記憶體使用指標 傳入一個 json、pids 集合和 gpuID

ts.metrics.process_memory_metric.check_process_mem_usage(stdin)

返回：

mem_utilization

返回型別：

float

ts.metrics.process_memory_metric.get_cpu_usage(pid)

使用 psutil 獲取 CPU 記憶體 :param pid: str :return: int

ts.metrics.system_metrics 模組

為前端收集系統指標的模組

ts.metrics.system_metrics.collect_all(mod, num_of_gpu)

收集所有系統指標。

引數：

• mod –

• num_of_gpu –

返回：

ts.metrics.system_metrics.cpu_utilization()

ts.metrics.system_metrics.disk_available()

ts.metrics.system_metrics.disk_used()

ts.metrics.system_metrics.disk_utilization()

ts.metrics.system_metrics.gpu_utilization(num_of_gpu)

收集 GPU 指標。

引數：

num_of_gpu –

返回：

ts.metrics.system_metrics.memory_available()

ts.metrics.system_metrics.memory_used()

ts.metrics.system_metrics.memory_utilization()

ts.metrics.unit 模組

定義單位對映的模組

class ts.metrics.unit.Units

基類： object

定義元素的單位

模組內容

這是存放所有 Python worker 指標的資料夾。