PyTorch 團隊很高興地宣佈，我們關於 PyTorch 2 的論文已被接受，並將在 ACM 國際程式語言和作業系統架構支援大會 (ASPLOS) 上發表，該會議定於 2024 年 4 月 27 日至 5 月 1 日在美國加利福尼亞州聖地亞哥舉行。
該論文深入探討了 torch.compile 的實現，並強調了驅動它的關鍵技術，包括 TorchDynamo（圖捕獲）、TorchInductor（後端編譯器）和動態形狀支援。
在 ASPLOS 會議期間，我們將在 4 月 27 日星期六舉辦一個教程，重點介紹 PyTorch 2 的內部工作原理以及系統研究人員如何利用和在此基礎上進行構建。隨著活動的臨近，請繼續關注更多詳細資訊——我們期待您的參與！
論文預覽附在下方
標題： PyTorch 2：透過動態 Python 位元組碼轉換和圖編譯實現更快的機器學習。 完整論文 PDF
摘要
本文介紹了流行 PyTorch 機器學習框架的兩個擴充套件，TorchDynamo 和 TorchInductor，它們實現了 PyTorch 2 中釋出的 torch.compile 功能。TorchDynamo 是一個 Python 級別的即時 (JIT) 編譯器，它可以在 PyTorch 程式中實現圖編譯，而不會犧牲 Python 的靈活性。它透過在執行前動態修改 Python 位元組碼，並將 PyTorch 操作序列提取到 FX 圖中來實現這一點，然後使用眾多可擴充套件後端之一對該圖進行 JIT 編譯。TorchInductor 是 TorchDynamo 的預設編譯器後端，它將 PyTorch 程式轉換為適用於 GPU 的 OpenAI Triton 和適用於 CPU 的 C++。結果表明，TorchDynamo 能夠比以前的方法更穩健地捕獲圖，同時增加的開銷極小，並且 TorchInductor 能夠在 NVIDIA A100 GPU 上，在 180 多個實際模型中，提供 2.27 倍的推理幾何平均加速和 1.41 倍的訓練幾何平均加速，優於其他六個編譯器。這些擴充套件提供了一種在 PyTorch 等急切模式框架中透過編譯器應用最佳化的新方法。
作者
Jason Ansel (Meta); Edward Yang (Meta); Horace He (Meta); Natalia Gimelshein (OpenAI); Animesh Jain (Meta); Michael Voznesensky (Meta); Bin Bao (Meta); Peter Bell (Quansight); David Berard (Meta); Evgeni Burovski Quansight; Geeta Chauhan (Meta); Anjali Chourdia (Meta); Will Constable (Meta); Alban Desmaison (Meta); Zachary DeVito (Meta); Elias Ellison (Meta); Will Feng (Meta); Jiong Gong (Intel); Michael Gschwind (Meta); Brian Hirsh (Meta); Sherlock Huang (Meta); Kshiteej Kalambarkar (Quansight); Laurent Kirsch (Meta); Michael Lazos (Meta); Mario Lezcano (Quansight); Yanbo Liang (Meta); Jason Liang (Meta); Yinghai Lu (Meta); CK Luk (Meta); Bert Maher (Meta); Yunjie Pan (University of Michigan); Christian Puhrsch (Meta); Matthias Reso (Meta); Mark Saroufim (Meta); Marcos Yukio Siraichi (Quansight); Helen Suk (Meta); Michael Suo (Meta); Phil Tillet (OpenAI); Eikan Wang (Intel); Xiaodong Wang (Meta); William Wen (Meta); Shunting Zhang (Meta); Xu Zhao (Meta); Keren Zhou (OpenAI & George Mason University); Richard Zou (Meta); Ajit Mathews (Meta); Gregory Chanan (Meta); Peng Wu (Meta); Soumith Chintala (Meta)
ASPLOS’24 – 全天教程日程
ASPLOS’24 PyTorch 2 教程（4 月 27 日星期六）的完整日程可在此處檢視：此處