Torch-TensorRT

在框架內為 NVIDIA GPU 編譯 PyTorch 推理程式碼

Torch-TensorRT 是一個用於 PyTorch 的推理編譯器，透過 NVIDIA 的 TensorRT 深度學習最佳化器和執行時庫，面向 NVIDIA GPU。它透過 torch.compile 介面支援即時 (JIT) 編譯工作流程，也支援預先 (AOT) 編譯工作流程。Torch-TensorRT 無縫整合到 PyTorch 生態系統中，支援將最佳化的 TensorRT 程式碼與標準 PyTorch 程式碼混合執行。

更多資訊 / 系統架構

• Torch-TensorRT 2.0

入門

• 安裝

使用者指南

• Torch-TensorRT 解析

• 使用 Torch-TensorRT 處理動態形狀

• 訓練後量化 (PTQ)

• 儲存使用 Torch-TensorRT 編譯的模型

• 部署 Torch-TensorRT 程式

• DLA

• 使用 Torch-TensorRT 編譯混合精度模型

教程

• Torch Compile 高階用法

• 使用 Torch-TensorRT 部署量化模型

• 引擎快取

• 引擎快取 (BERT)

• 使用新權重 Refit Torch-TensorRT 程式

• 使用 Triton 部署 Torch-TensorRT 模型服務

• 使用 Cudagraphs 進行 Torch Export

• 使用自定義 Converter 覆蓋 Torch-TensorRT Converter

• 在 Torch-TensorRT 中使用 TensorRT Engine 內的自定義 Kernel

• 自動為自定義 Kernel 生成 Converter

• 自動為自定義 Kernel 生成 Plugin

• 可變 (Mutable) Torch TensorRT 模組

• 權重流 (Weight Streaming)

• 預分配輸出緩衝區

Dynamo 前端

• torch.compile 的 TensorRT 後端

• 使用 Torch-TensorRT 編譯 Exported 程式

TorchScript 前端

• 建立 TorchScript 模組

• 在 Python 中使用 Torch-TensorRT

• 在 C++ 中使用 Torch-TensorRT

• 直接從 PyTorch 使用 Torch-TensorRT TorchScript 前端

FX 前端

• Torch-TensorRT (FX 前端) 使用者指南

模型庫

• 使用 torch.compile 後端編譯具有動態形狀的 ResNet

• 使用 torch.compile 後端編譯 BERT

• 使用 torch.compile 後端編譯 Stable Diffusion 模型

• 使用 Torch-TensorRT torch.compile 前端編譯 GPT2

• 使用 dynamo 後端編譯 GPT2

• 使用 dynamo 後端編譯 Llama2

• 使用 dynamo 後端編譯 SAM2

• 使用 Torch-TensorRT dynamo 後端編譯 FLUX.1-dev 模型

• 遺留 Notebooks

Python API 文件

• torch_tensorrt

• torch_tensorrt.dynamo

• torch_tensorrt.logging

• torch_tensorrt.fx

• torch_tensorrt.ts

• torch_tensorrt.ts.ptq

C++ API 文件

• 名稱空間 torch_tensorrt

• 名稱空間 torch_tensorrt::logging

• 名稱空間 torch_tensorrt::ptq

• 名稱空間 torch_tensorrt::torchscript

CLI 文件

• torchtrtc

貢獻者文件

• 系統概覽

• 編寫 Dynamo Converter

• 編寫 Dynamo ATen Lowering Pass

• 編寫 TorchScript Converter

• Torch-TensorRT 開發有用連結

索引

• 支援的運算元

• 索引

• 搜尋頁面

遺留附加資訊 (TorchScript)

• 入門部落格文章

• GTC 2020 演講

• GTC 2020 秋季演講

• GTC 2021 演講

• GTC 2021 秋季演講

• PyTorch 生態系統日 2021

• PyTorch 開發者大會 2021

• PyTorch 開發者大會 2022