ExecuTorch 概覽¶
ExecuTorch 是一個端到端解決方案,可為包括可穿戴裝置、嵌入式裝置和微控制器在內的移動及邊緣裝置提供裝置端推理能力。它是 PyTorch Edge 生態系統的一部分,並支援將 PyTorch 模型高效部署到邊緣裝置上。
ExecuTorch 的主要價值主張包括:
可移植性:相容各種計算平臺,從高階手機到高度受限的嵌入式系統和微控制器。
生產力:使開發者能夠使用相同的工具鏈和開發者工具,涵蓋從 PyTorch 模型編寫和轉換到在各種平臺上除錯和部署的整個過程。
效能:透過輕量級執行時和充分利用 CPU、NPU 和 DSP 等硬體能力,為終端使用者提供流暢且高效能的體驗。
為什麼選擇 ExecuTorch?¶
支援裝置端 AI 帶來了獨特的挑戰,涉及多樣化的硬體、關鍵的功耗要求、低甚至無網路連線以及即時處理需求。這些限制歷來阻礙或減緩了可擴充套件且高效能裝置端 AI 解決方案的建立。我們設計了 ExecuTorch,並得到了 Meta、Arm、Apple 和 Qualcomm 等行業合作伙伴的支援,旨在實現高度可移植性,並在不犧牲效能的前提下提供卓越的開發者生產力。
ExecuTorch 與 PyTorch Mobile(Lite Interpreter)有何不同?¶
PyTorch Mobile 使用 TorchScript 使得 PyTorch 模型可以在資源有限的裝置上執行。與 PyTorch Mobile 相比,ExecuTorch 擁有顯著更小的記憶體佔用和動態記憶體足跡,從而帶來卓越的效能和可移植性。此外,ExecuTorch 不依賴於 TorchScript,而是利用 PyTorch 2 編譯器和匯出功能來實現 PyTorch 模型在裝置上的執行。
閱讀更多關於 ExecuTorch 的深度技術概覽主題