索引

_

__init__() (torch_tensorrt.Device 方法) (torch_tensorrt.Input 方法) (torch_tensorrt.MutableTorchTensorRTModule 方法) (torch_tensorrt.runtime.PythonTorchTensorRTModule 方法) (torch_tensorrt.runtime.TorchTensorRTModule 方法)

B

b (torch_tensorrt.dtype 屬性)

bf16 (torch_tensorrt.dtype 屬性)

C

CacheCalibrator （位於 torch_tensorrt.ts.ptq 中的類） CalibrationAlgo （位於 torch_tensorrt.ts.ptq 中的類） cdhw32 (torch_tensorrt.memory_format 屬性) check_method_op_support() （位於模組 torch_tensorrt.ts 中） chw16 (torch_tensorrt.memory_format 屬性) chw2 (torch_tensorrt.memory_format 屬性) chw32 (torch_tensorrt.memory_format 屬性) chw4 (torch_tensorrt.memory_format 屬性) CompilationSettings （位於 torch_tensorrt.dynamo 中的類）, [1]

compile() （位於模組 torch_tensorrt 中） （位於模組 torch_tensorrt.dynamo 中） （位於模組 torch_tensorrt.fx 中） （位於模組 torch_tensorrt.ts 中） (torch_tensorrt.MutableTorchTensorRTModule 方法) convert_exported_program_to_serialized_trt_engine() （位於模組 torch_tensorrt.dynamo 中） convert_method_to_trt_engine() （位於模組 torch_tensorrt 中） （位於模組 torch_tensorrt.ts 中） cross_compile_for_windows() （位於模組 torch_tensorrt 中） （位於模組 torch_tensorrt.dynamo 中）

D

DataLoaderCalibrator （位於 torch_tensorrt.ts.ptq 中的類） debug （位於 torch_tensorrt.logging 中的類） Device （位於 torch_tensorrt 中的類） device_type (torch_tensorrt.Device 屬性) DeviceType （位於 torch_tensorrt 中的類） dhwc (torch_tensorrt.memory_format 屬性) dhwc8 (torch_tensorrt.memory_format 屬性) disable_profiling() (torch_tensorrt.runtime.PythonTorchTensorRTModule 方法)

DLA (torch_tensorrt.DeviceType 屬性) dla_core (torch_tensorrt.Device 屬性) dla_hwc4 (torch_tensorrt.memory_format 屬性) dla_linear (torch_tensorrt.memory_format 屬性) DLA_STANDALONE (torch_tensorrt.EngineCapability 屬性) 文件 dtype （位於 torch_tensorrt 中的類） (torch_tensorrt.Input 屬性)

E

embed_engine_in_new_module() （位於模組 torch_tensorrt.ts 中） enable_cudagraphs() （位於模組 torch_tensorrt.runtime 中） enable_output_allocator() （位於模組 torch_tensorrt.runtime 中） enable_pre_allocated_outputs() （位於模組 torch_tensorrt.runtime 中） enable_profiling() (torch_tensorrt.runtime.PythonTorchTensorRTModule 方法)

EngineCapability （位於 torch_tensorrt 中的類） ENTROPY_CALIBRATION (torch_tensorrt.ts.ptq.CalibrationAlgo 屬性) ENTROPY_CALIBRATION_2 (torch_tensorrt.ts.ptq.CalibrationAlgo 屬性) errors （位於 torch_tensorrt.logging 中的類） example_tensor() (torch_tensorrt.Input 方法) export() （位於模組 torch_tensorrt.dynamo 中）

F

f16 (torch_tensorrt.dtype 屬性) f32 (torch_tensorrt.dtype 屬性) f64 (torch_tensorrt.dtype 屬性) f8 (torch_tensorrt.dtype 屬性)

format (torch_tensorrt.Input 屬性) forward() (torch_tensorrt.runtime.PythonTorchTensorRTModule 方法) (torch_tensorrt.runtime.TorchTensorRTModule 方法) from_tensor() (torch_tensorrt.Input 類方法) from_tensors() (torch_tensorrt.Input 類方法)

G

get_cudagraphs_mode() （位於模組 torch_tensorrt.runtime 中） get_extra_state() (torch_tensorrt.runtime.TorchTensorRTModule 方法) get_layer_info() (torch_tensorrt.runtime.PythonTorchTensorRTModule 方法)

get_whole_cudagraphs_mode() （位於模組 torch_tensorrt.runtime 中） GPU (torch_tensorrt.DeviceType 屬性) gpu_id (torch_tensorrt.Device 屬性) graphs （位於 torch_tensorrt.logging 中的類）

H

hwc (torch_tensorrt.memory_format 屬性)

hwc16 (torch_tensorrt.memory_format 屬性) hwc8 (torch_tensorrt.memory_format 屬性)

I

i32 (torch_tensorrt.dtype 屬性) i64 (torch_tensorrt.dtype 屬性) i8 (torch_tensorrt.dtype 屬性)

info （位於 torch_tensorrt.logging 中的類） Input （位於 torch_tensorrt 中的類） InputTensorSpec （位於 torch_tensorrt.fx 中的類） internal_errors （位於 torch_tensorrt.logging 中的類）

L

LEGACY_CALIBRATION (torch_tensorrt.ts.ptq.CalibrationAlgo 屬性) linear (torch_tensorrt.memory_format 屬性)

load() （位於模組 torch_tensorrt 中） load_cross_compiled_exported_program() （位於模組 torch_tensorrt 中） （位於模組 torch_tensorrt.dynamo 中）

M

memory_format （位於 torch_tensorrt 中的類） MINMAX_CALIBRATION (torch_tensorrt.ts.ptq.CalibrationAlgo 屬性) 模組 torch_tensorrt torch_tensorrt.dynamo, [1], [2], [3], [4] torch_tensorrt.fx torch_tensorrt.logging torch_tensorrt.runtime torch_tensorrt.ts torch_tensorrt.ts.ptq

MutableTorchTensorRTModule （位於 torch_tensorrt 中的類）

P

Python 增強提案 PEP 287

PythonTorchTensorRTModule （位於 torch_tensorrt.runtime 中的類）

R

閱讀 refit_gm() (torch_tensorrt.MutableTorchTensorRTModule 方法)

refit_module_weights() （位於模組 torch_tensorrt.dynamo 中） RFC RFC 2822

S

SAFETY (torch_tensorrt.EngineCapability 屬性) save() （位於模組 torch_tensorrt 中） save_cross_compiled_exported_program() （位於模組 torch_tensorrt.dynamo 中） set_cudagraphs_mode() （位於模組 torch_tensorrt.runtime 中）

set_expected_dynamic_shape_range() (torch_tensorrt.MutableTorchTensorRTModule 方法) set_extra_state() (torch_tensorrt.runtime.TorchTensorRTModule 方法) set_multi_device_safe_mode() （位於模組 torch_tensorrt.runtime 中） STANDARD (torch_tensorrt.EngineCapability 屬性) STR （C 宏）

T

TensorRTCompileSpec() （位於模組 torch_tensorrt.ts 中） to() (torch_tensorrt.DeviceType 方法) (torch_tensorrt.dtype 方法) (torch_tensorrt.EngineCapability 方法) (torch_tensorrt.memory_format 方法) torch_tensorrt 模組 torch_tensorrt.dynamo module, [1], [2], [3], [4] torch_tensorrt.fx 模組 torch_tensorrt.logging 模組 torch_tensorrt.runtime 模組 torch_tensorrt.ts 模組 torch_tensorrt.ts.ptq 模組 torch_tensorrt::DataType （C++ 類） torch_tensorrt::DataType::DataType （C++ 函式）, [1], [2] torch_tensorrt::DataType::operator bool （C++ 函式） torch_tensorrt::DataType::operator Value （C++ 函式） torch_tensorrt::DataType::operator!= （C++ 函式）, [1] torch_tensorrt::DataType::operator== （C++ 函式）, [1] torch_tensorrt::DataType::Value （C++ 列舉） torch_tensorrt::DataType::Value::kBool （C++ 列舉成員） torch_tensorrt::DataType::Value::kChar （C++ 列舉成員） torch_tensorrt::DataType::Value::kDouble （C++ 列舉成員） torch_tensorrt::DataType::Value::kFloat （C++ 列舉成員） torch_tensorrt::DataType::Value::kHalf （C++ 列舉成員） torch_tensorrt::DataType::Value::kInt （C++ 列舉成員） torch_tensorrt::DataType::Value::kLong （C++ 列舉成員） torch_tensorrt::DataType::Value::kUnknown （C++ 列舉成員） torch_tensorrt::Device （C++ 結構體） torch_tensorrt::Device::allow_gpu_fallback （C++ 成員） torch_tensorrt::Device::Device （C++ 函式） torch_tensorrt::Device::device_type （C++ 成員） torch_tensorrt::Device::DeviceType （C++ 類）, [1] torch_tensorrt::Device::DeviceType::DeviceType （C++ 函式）, [1], [2], [3], [4], [5] torch_tensorrt::Device::DeviceType::operator bool （C++ 函式）, [1] torch_tensorrt::Device::DeviceType::operator Value （C++ 函式）, [1] torch_tensorrt::Device::DeviceType::operator!= （C++ 函式）, [1] torch_tensorrt::Device::DeviceType::operator== （C++ 函式）, [1] torch_tensorrt::Device::DeviceType::Value （C++ 列舉）, [1] torch_tensorrt::Device::DeviceType::Value::kDLA （C++ 列舉成員）, [1] torch_tensorrt::Device::DeviceType::Value::kGPU （C++ 列舉成員）, [1] torch_tensorrt::Device::dla_core （C++ 成員） torch_tensorrt::Device::gpu_id （C++ 成員） torch_tensorrt::dump_build_info （C++ 函式） torch_tensorrt::EngineCapability （C++ 列舉） torch_tensorrt::EngineCapability::kDLA_STANDALONE （C++ 列舉成員） torch_tensorrt::EngineCapability::kSAFETY （C++ 列舉成員） torch_tensorrt::EngineCapability::kSTANDARD （C++ 列舉成員） torch_tensorrt::get_build_info （C++ 函式） torch_tensorrt::GraphInputs （C++ 結構體） torch_tensorrt::GraphInputs::input_signature （C++ 成員） torch_tensorrt::GraphInputs::inputs （C++ 成員） torch_tensorrt::Input （C++ 結構體） torch_tensorrt::Input::dtype （C++ 成員） torch_tensorrt::Input::format （C++ 成員） torch_tensorrt::Input::Input （C++ 函式）, [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15], [16], [17] torch_tensorrt::Input::max_shape （C++ 成員） torch_tensorrt::Input::min_shape （C++ 成員） torch_tensorrt::Input::opt_shape （C++ 成員） torch_tensorrt::Input::shape （C++ 成員） torch_tensorrt::Input::tensor_domain （C++ 成員） torch_tensorrt::logging::get_is_colored_output_on （C++ 函式） torch_tensorrt::logging::get_logging_prefix （C++ 函式） torch_tensorrt::logging::get_reportable_log_level （C++ 函式） torch_tensorrt::logging::Level （C++ 列舉） torch_tensorrt::logging::Level::kDEBUG （C++ 列舉成員） torch_tensorrt::logging::Level::kERROR （C++ 列舉成員） torch_tensorrt::logging::Level::kGRAPH （C++ 列舉成員） torch_tensorrt::logging::Level::kINFO （C++ 列舉成員） torch_tensorrt::logging::Level::kINTERNAL_ERROR （C++ 列舉成員）

torch_tensorrt::logging::Level::kWARNING （C++ 列舉成員） torch_tensorrt::logging::log （C++ 函式） torch_tensorrt::logging::set_is_colored_output_on （C++ 函式） torch_tensorrt::logging::set_logging_prefix （C++ 函式） torch_tensorrt::logging::set_reportable_log_level （C++ 函式） torch_tensorrt::ptq::Int8CacheCalibrator （C++ 類） torch_tensorrt::ptq::Int8CacheCalibrator::getBatch （C++ 函式） torch_tensorrt::ptq::Int8CacheCalibrator::getBatchSize （C++ 函式） torch_tensorrt::ptq::Int8CacheCalibrator::Int8CacheCalibrator （C++ 函式） torch_tensorrt::ptq::Int8CacheCalibrator::operator nvinfer1::IInt8Calibrator* （C++ 函式） torch_tensorrt::ptq::Int8CacheCalibrator::readCalibrationCache （C++ 函式） torch_tensorrt::ptq::Int8CacheCalibrator::writeCalibrationCache （C++ 函式） torch_tensorrt::ptq::Int8Calibrator （C++ 類） torch_tensorrt::ptq::Int8Calibrator::getBatch （C++ 函式） torch_tensorrt::ptq::Int8Calibrator::getBatchSize （C++ 函式） torch_tensorrt::ptq::Int8Calibrator::Int8Calibrator （C++ 函式） torch_tensorrt::ptq::Int8Calibrator::operator nvinfer1::IInt8Calibrator* （C++ 函式） torch_tensorrt::ptq::Int8Calibrator::readCalibrationCache （C++ 函式） torch_tensorrt::ptq::Int8Calibrator::writeCalibrationCache （C++ 函式） torch_tensorrt::set_device （C++ 函式） torch_tensorrt::TensorFormat （C++ 類） torch_tensorrt::TensorFormat::operator bool （C++ 函式） torch_tensorrt::TensorFormat::operator Value （C++ 函式） torch_tensorrt::TensorFormat::operator!= （C++ 函式）, [1] torch_tensorrt::TensorFormat::operator== （C++ 函式）, [1] torch_tensorrt::TensorFormat::TensorFormat （C++ 函式）, [1], [2] torch_tensorrt::TensorFormat::Value （C++ 列舉） torch_tensorrt::TensorFormat::Value::kChannelsLast （C++ 列舉成員） torch_tensorrt::TensorFormat::Value::kContiguous （C++ 列舉成員） torch_tensorrt::TensorFormat::Value::kUnknown （C++ 列舉成員） torch_tensorrt::torchscript::check_method_operator_support （C++ 函式） torch_tensorrt::torchscript::compile （C++ 函式） torch_tensorrt::torchscript::CompileSpec （C++ 結構體） torch_tensorrt::torchscript::CompileSpec::allow_shape_tensors （C++ 成員） torch_tensorrt::torchscript::CompileSpec::capability （C++ 成員） torch_tensorrt::torchscript::CompileSpec::CompileSpec （C++ 函式）, [1], [2], [3] torch_tensorrt::torchscript::CompileSpec::debug （C++ 成員） torch_tensorrt::torchscript::CompileSpec::device （C++ 成員） torch_tensorrt::torchscript::CompileSpec::disable_tf32 （C++ 成員） torch_tensorrt::torchscript::CompileSpec::dla_global_dram_size （C++ 成員） torch_tensorrt::torchscript::CompileSpec::dla_local_dram_size （C++ 成員） torch_tensorrt::torchscript::CompileSpec::dla_sram_size （C++ 成員） torch_tensorrt::torchscript::CompileSpec::enabled_precisions （C++ 成員） torch_tensorrt::torchscript::CompileSpec::graph_inputs （C++ 成員） torch_tensorrt::torchscript::CompileSpec::min_block_size （C++ 成員） torch_tensorrt::torchscript::CompileSpec::num_avg_timing_iters （C++ 成員） torch_tensorrt::torchscript::CompileSpec::ptq_calibrator （C++ 成員） torch_tensorrt::torchscript::CompileSpec::refit （C++ 成員） torch_tensorrt::torchscript::CompileSpec::require_full_compilation （C++ 成員） torch_tensorrt::torchscript::CompileSpec::sparse_weights （C++ 成員） torch_tensorrt::torchscript::CompileSpec::torch_executed_modules （C++ 成員） torch_tensorrt::torchscript::CompileSpec::torch_executed_ops （C++ 成員） torch_tensorrt::torchscript::CompileSpec::truncate_long_and_double （C++ 成員） torch_tensorrt::torchscript::CompileSpec::workspace_size （C++ 成員） torch_tensorrt::torchscript::convert_method_to_trt_engine （C++ 函式） torch_tensorrt::torchscript::embed_engine_in_new_module （C++ 函式） TORCH_TENSORRT_MAJOR_VERSION （C 宏） TORCH_TENSORRT_MINOR_VERSION （C 宏） TORCH_TENSORRT_PATCH_VERSION （C 宏） TORCH_TENSORRT_PTQ_DEPRECATION （C 宏） TORCH_TENSORRT_VERSION （C 宏） TorchTensorRTModule （位於 torch_tensorrt.runtime 中的類） TORCHTRT_API （C 宏） TORCHTRT_HIDDEN （C 宏） trace() （位於模組 torch_tensorrt.dynamo 中） TRTInterpreter （位於 torch_tensorrt.fx 中的類） TRTInterpreterResult （位於 torch_tensorrt.fx 中的類） TRTModule （位於 torch_tensorrt.fx 中的類） try_from() (torch_tensorrt.DeviceType 類方法) (torch_tensorrt.dtype 類方法) (torch_tensorrt.EngineCapability 類方法) (torch_tensorrt.memory_format 類方法) try_to() (torch_tensorrt.DeviceType 方法) (torch_tensorrt.dtype 方法) (torch_tensorrt.EngineCapability 方法) (torch_tensorrt.memory_format 方法)

U

u8 (torch_tensorrt.dtype 屬性)

UNKNOWN (torch_tensorrt.DeviceType 屬性) unknown (torch_tensorrt.dtype 屬性)

V

validate_input_shapes() (torch_tensorrt.runtime.PythonTorchTensorRTModule 方法)

W

warnings （位於 torch_tensorrt.logging 中的類）

weight_streaming() （位於模組 torch_tensorrt.runtime 中） 編寫

X

XSTR （C 宏）