我們很高興地宣佈 ExecuTorch，這是我們全新的解決方案，旨在透過 Arm、Apple 和 Qualcomm Innovation Center 等行業領導者的支援，在移動和邊緣裝置上實現裝置端推理功能。
作為 PyTorch Edge 未來裝置端 AI 堆疊和生態系統願景的一部分，ExecuTorch 解決了裝置端 AI 生態系統的碎片化問題。它提供了一個設計，為第三方無縫整合提供了擴充套件點，以加速專業硬體上的機器學習模型。我們的合作伙伴貢獻了自定義委託實現，以最佳化其各自硬體平臺上的模型推理執行。
我們建立了詳盡的文件，提供了 ExecuTorch 架構、其高階元件、在 ExecuTorch 上執行的示例機器學習模型，以及在各種硬體裝置上匯出和執行模型的端到端教程的更多詳細資訊。我們很高興看到社群基於 ExecuTorch 構建的所有創新用例。
ExecuTorch 的關鍵元件
ExecuTorch 提供了一個緊湊的執行時，具有輕量級運算子登錄檔，以覆蓋 PyTorch 模型生態系統，以及在邊緣裝置上執行 PyTorch 程式的簡化路徑。這些裝置範圍從手機到由我們的合作伙伴構建的特定委託驅動的嵌入式硬體。此外，ExecuTorch 還附帶了一個軟體開發工具包 (SDK) 和工具鏈，為機器學習開發人員提供了一個符合人體工程學的使用者體驗，可以在一個 PyTorch 工作流中完成模型創作、訓練和裝置委託。這套工具使機器學習開發人員能夠執行裝置端模型分析和更好的除錯原始 PyTorch 模型的方法。
ExecuTorch 從頭開始以可組合的方式構建，允許機器學習開發人員決定要利用哪些元件，以及在需要時擴充套件它們的入口點。這種設計為機器學習社群提供了以下好處：
- 可移植性：相容各種計算平臺，從高階手機到高度受限的嵌入式系統和微控制器。
- 生產力：使開發人員能夠使用相同的工具鏈和 SDK，從 PyTorch 模型創作和轉換，到除錯和部署到各種平臺，從而提高生產力。
- 效能：透過輕量級執行時及其利用包括通用 CPU 和專用微處理器（如 NPU 和 DSP）在內的全部硬體功能的能力，為終端使用者提供無縫且高效能的體驗。
PyTorch Edge：從 PyTorch Mobile 到 ExecuTorch
拉近研究和生產環境是 PyTorch 的一個基本目標。機器學習工程師越來越多地使用 PyTorch 在高度動態且不斷發展的環境中創作和部署機器學習模型，從伺服器到手機和嵌入式硬體等邊緣裝置。
隨著人工智慧在增強現實 (AR)、虛擬現實 (VR)、混合現實 (MR)、移動、物聯網和其他領域的日益普及，對可擴充套件、模組化且與 PyTorch 堆疊對齊的端到端裝置端解決方案的需求不斷增長。
PyTorch Edge 基於改進研究到生產的相同基本原則，透過低摩擦的開發和部署過程，將各種機器學習模型（涵蓋視覺、語音、自然語言處理、翻譯、排名、完整性和內容建立任務）部署到邊緣裝置。它提供了一個框架堆疊，涵蓋了 PyTorch 社群關心的裝置端用例的整個範圍。
PyTorch Edge 提供了核心元件的可移植性，這是實現廣泛裝置所必需的，這些裝置具有不同的硬體配置、效能和效率。這種可移植性透過允許針對目標用例定製開發的最佳化，以及透過明確定義的入口點、表示和工具將所有這些結合起來形成一個蓬勃發展的生態系統，從而提高開發人員的生產力。
PyTorch Edge 是 PyTorch 裝置端 AI 堆疊和生態系統的未來。我們很高興看到社群利用 ExecuTorch 的裝置端推理功能在移動和邊緣裝置上構建什麼，並得到我們行業合作伙伴委託的支援。
瞭解更多關於 PyTorch Edge 和 ExecuTorch 的資訊.