Input 結構體

• 定義於 檔案 torch_tensorrt.h

繼承關係

基類

• public CustomClassHolder

結構體文件

struct Input : public CustomClassHolder

用於儲存輸入範圍的結構體 (由 TensorRT 最佳化配置檔案使用)

此結構體可以儲存表示輸入形狀的單個向量，表示靜態輸入形狀；或儲存一組三個輸入形狀，表示引擎允許的最小、最優和最大輸入形狀。

公共函式

inline Input()

TORCHTRT_API Input(std::vector<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

從向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式。 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• shape – 輸入張量形狀

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別)、向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• shape – 輸入張量形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

從向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式。

引數

• shape – 輸入張量形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式。

引數

• shape – 輸入張量形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別)、向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• shape – 輸入張量形狀

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別)、向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• shape – 輸入張量形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別) 和向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式。

引數

• shape – 輸入張量形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別) 和向量構造用於靜態輸入大小的新 Input 規範物件，可選引數允許使用者配置預期的輸入形狀張量格式。

引數

• shape – 輸入張量形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別) 構造用於動態輸入大小的新 Input 規範物件，適用於 min、opt 和 max 支援的大小。 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別) 構造用於動態輸入大小的新 Input 規範物件，適用於 min、opt 和 max 支援的大小。 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

從向量構造用於動態輸入大小的新 Input 規範物件，適用於最小形狀、最優形狀和最大形狀支援的大小，可選引數允許使用者配置預期的輸入形狀張量格式。

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從向量構造用於動態輸入大小的新 Input 規範物件，適用於最小形狀、最優形狀和最大形狀支援的大小，可選引數允許使用者配置預期的輸入形狀張量格式。

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別) 構造用於動態輸入大小的新 Input 規範物件，適用於 min、opt 和 max 支援的大小。 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 生成的型別) 構造用於動態輸入大小的新 Input 規範物件，適用於 min、opt 和 max 支援的大小。 dtype（輸入的預期資料型別）預設為 PyTorch / 傳統 TRT 約定（僅限 FP32 的輸入使用 FP32，FP32 和 FP16 都支援時使用 FP16，Int8 使用 FP32）

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

構建一個新的 Input 規格物件，用於根據 c10::ArrayRef（由 tensor.sizes() 生成的型別）為最小、最優和最大支援尺寸指定動態輸入大小。

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

構建一個新的 Input 規格物件，用於根據 c10::ArrayRef（由 tensor.sizes() 生成的型別）為最小、最優和最大支援尺寸指定動態輸入大小。

引數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料型別（如果可檢測，預設為第一個張量計算中權重的型別，否則為 Float32）

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式（預設為 contiguous）

TORCHTRT_API Input(at::Tensor tensor)

使用一個 torch 張量作為示例，構建一個新的 Input 規格物件。該張量的形狀、型別和佈局決定了該規格的值。

注意：您無法透過此方法設定動態形狀，必須使用其他建構函式。

引數

tensor – 用於設定形狀、型別和佈局的參考張量。

公共成員

std::vector<int64_t> min_shape

引擎可接受的最小輸入尺寸。

std::vector<int64_t> opt_shape

引擎的最優輸入尺寸（針對給定核心最佳化的尺寸，在最小到最大範圍內可接受任何尺寸）。

std::vector<int64_t> max_shape

引擎可接受的最大輸入尺寸。

std::vector<int64_t> shape

要饋送到 TensorRT 的輸入形狀，在動態形狀的情況下，-1 將代表可變維度。

DataType dtype

輸入的預期資料型別。

TensorFormat format

輸入的預期張量格式。

std::vector<double> tensor_domain

張量輸入的預期允許域。