⚠️ 注意：有限維護

該專案不再積極維護。現有版本仍可使用，但沒有計劃中的更新、錯誤修復、新功能或安全補丁。使用者應注意漏洞可能不會得到解決。

TorchServe GenAI 使用案例與展示

本文件展示了使用 TorchServe 進行 Gen AI 部署的一些有趣的使用案例。

在 AWS Graviton 上使用 Torch Compiled RAG 增強 LLM 服務

在這篇部落格中，我們展示瞭如何使用 TorchServe 部署 RAG 端點，如何使用 torch.compile 提高吞吐量，以及如何改進 Llama 端點生成的響應。我們還展示瞭如何在 AWS Graviton 上使用 CPU 部署 RAG 端點，同時 Llama 端點仍然部署在 GPU 上。這種基於微服務的 RAG 解決方案有效利用計算資源，從而為客戶帶來潛在的成本節省。

多圖生成 Streamlit 應用：使用 TorchServe、torch.compile 和 OpenVINO 串聯 Llama 和 Stable Diffusion

這個多圖生成 Streamlit 應用旨在根據提供的文字提示生成多張圖片。該應用沒有直接使用 Stable Diffusion，而是串聯了 Llama 和 Stable Diffusion 來增強圖片生成過程。這個多圖生成的使用案例例證了尖端 AI 技術的強大協同效應：TorchServe、OpenVINO、Torch.compile、Meta-Llama 和 Stable Diffusion。