⚠️ 通知：有限維護

此專案不再積極維護。現有版本仍可獲取，但沒有計劃中的更新、錯誤修復、新功能或安全補丁。使用者應注意潛在的安全漏洞可能無法得到解決。

在 linux aarch64 上執行 TorchServe - 實驗性

TorchServe 已在 linux aarch64 上透過測試，可執行部分示例。

• 已在 Amazon Graviton 3 例項 (m7g.4x.large) 上進行測試

安裝

目前支援透過 PyPi 或從原始碼安裝

python ts_scripts/install_dependencies.py
pip install torchserve torch-model-archiver torch-workflow-archiver

最佳化

您還可以為 Graviton 3 啟用這些最佳化以獲得更好的效能。更多詳細資訊請參閱此部落格

export DNNL_DEFAULT_FPMATH_MODE=BF16
export LRU_CACHE_CAPACITY=1024

示例

此關於文字轉語音合成的示例已在 Graviton 3 上驗證可行

待辦事項

• CI

• 迴歸測試