過去的一年對於 PyTorch 來說是里程碑式的一年，從重大版本釋出到旗艦級的 PyTorch 大會。我們看到了來自超過 3500 名個人和 3000 個組織的貢獻的驚人增長。可以說，PyTorch 現在已經成為 AI/ML 領域的主導深度學習框架。根據 Linux 基金會最近釋出的《塑造生成式 AI 的未來報告》，PyTorch 在模型訓練領域以 63% 的採用率遙遙領先。
PyTorch 基金會成立於 2022 年，旨在透過培育和維護一個圍繞 PyTorch 的開源、廠商中立專案生態系統來推動 AI 工具的普及，如今它仍然是一個充滿活力、協作共贏的中心，為深度學習社群而生，也由深度學習社群建立。在年終之際，讓我們回顧一些亮點，看看這一年是如何成為增長、協作、創新和社群的一年。
2024 年亮點：增長與影響的一年
今年 PyTorch 加快了增長。與去年相比，全球貢獻組織的數量翻了一番，貢獻量增長了 133%。
該專案在使用 PyTorch 的新程式碼庫方面實現了 20% 的同比增長，過去一年中分支和使用者增加了 30%。
超過 70% 的 AI 研究實現現在都使用 PyTorch。
統計資料基於2024 年 Linux 基金會年度報告。
PyTorch 工具生態系統增長超過 25%，同時增強了軟體和硬體功能。透過與所有主要的雲服務提供商、數十家主要的軟體供應商和行業合作伙伴合作，PyTorch 正在為 AI 創新的速度和廣度設定新的標準。
今年 PyTorch 釋出了 4 個里程碑版本：2.2、2.3、2.4 和 2.5。我們看到了各種標誌性功能的釋出，例如 AOTInductor、FlashAttention-2 支援、張量並行性、新的 Python 自定義運算子 API 以及 FlexAttention 的引入。來自 PyTorch 基金會成員公司的工程師們也齊心協力，為 Intel GPU (XPU)、AWS Graviton 處理器、Inductor 效能等平臺引入了支援和最佳化。
在這一年中，PyTorch 團隊一直致力於引入一系列新的 PyTorch 原生庫！ExecuTorch 團隊與 Arm、Apple 和 Qualcomm Technologies, Inc. 的合作伙伴合作釋出了他們的 alpha 版本，然後迅速推出了一個專注於穩定性和增加 MediaTek 支援的beta 版本。TorchTune 建立了一個 PyTorch 原生庫，用於輕鬆微調大型語言模型。TorchAO 引入了一個 PyTorch 原生庫，透過利用低位資料型別、量化和稀疏性來使模型更快、更小。TorchCodec 推出，為開發人員提供了一種簡單、高效能的 PyTorch 原生方式來將影片解碼為張量。TorchRec 1.0 釋出，這是 PyTorch 原生推薦系統庫的第一個穩定版本。
在這一年中，我們還舉辦了多次強有力的技術展示，以突出 PyTorch 的應用方式！TorchTitan 展示了開源、PyTorch 原生分散式訓練系統如何用於訓練大型語言模型 (LLM)。TorchChat 展示瞭如何在筆記型電腦、桌上型電腦和移動裝置上無縫高效地執行 LLM。
此外，我們非常高興在 2024 年將多個新專案納入 PyTorch 生態系統，包括將最先進的推理引擎 vLLM 引入 PyTorch 生態系統，這為機器學習工程師提供了一種簡單、快速且經濟高效的 LLM 服務方式。如果您有興趣加入 PyTorch 生態系統，請加入我們！
六月在法國巴黎，我們首映了官方 PyTorch 紀錄片，講述了 PyTorch 如何助力 AI 革命，並突出展示了 PyTorch 充滿活力的生態系統及其在推動 AI 創新中的作用。影片揭示了 PyTorch 誕生的真實故事，將其存在歸功於一群推動技術創新的無名英雄。
2024 年 PyTorch 大會的註冊人數是 2023 年的三倍，這反映了圍繞開源技術的 AI 和機器學習社群的快速增長。為期兩天的活動包括富有洞察力的演講、實踐環節和關於 AI 未來的熱烈討論，涵蓋了從生成式 AI 到大型語言模型的方方面面。
一個全新的創業展示環節，讓早期創始人向頂級風險投資家小組推銷他們的 AI 創業公司；深度學習編譯器迷你峰會深入探討了正在改變 AI 工作負載的深度學習 (DL) 編譯器進展；微調迷你峰會彙集了一個蓬勃發展的研究人員、開發人員、實踐者和愛好者社群，討論了記憶體效率、引數高效微調和規模效能等話題。
傑出貢獻者獲得了PyTorch 貢獻者獎。祝賀今年的提名者和獲獎者，感謝那些在 PyTorch 今年發展歷程中發揮關鍵作用的傑出個人和團隊。
PyTorch 基金會會員今年新增了 Arm 和 Rebellions。截至年底，高階會員包括：AMD、Arm、AWS、Google Cloud、華為、Hugging Face、IBM、英特爾、Lightning AI、Meta、微軟 Azure 和 NVIDIA。普通會員包括：Graphcore、Rebellions 和 Snowflake。如果您的組織有興趣加入，請了解如何成為 PyTorch 基金會會員。
PyTorch 舉辦了眾多線下和線上活動，包括PyTorch 文件馬拉松，貢獻者們在其中努力改進 PyTorch 文件並促進協作；世界各地的本地見面會彙集了從上海到首爾等地的興趣團體；以及十多個網路研討會，在我們的夏季網路研討會系列、即時問答和專家交流中吸引了來自各地的參與者。
PyTorch 基金會今年迎來了新領導層。執行董事 Matt White 於 4 月上任，並立即開始提升 PyTorch 在整個 AI 領域的知名度。技術諮詢委員會 (TAC) 也選舉了新領導層，由 Lightning AI 的 Luca Antiga 擔任主席，Intel 的 Jiong Gong 擔任副主席。
PyTorch 理事會繼續為基金會設定方向並領導其完成使命。PyTorch 市場和外聯委員會制定了計劃，以最大限度地提高 PyTorch 的知名度並促進社群的利益。PyTorch CI 工作組成立併成功地將 PyTorch CI 管道遷移到 Linux 基金會。
我們的社群在社交媒體上擁有強大的 77.5 萬粉絲，遍佈 X、LinkedIn、Facebook 和 YouTube，全年 PyTorch 內容的曝光量超過 1200 萬。PyTorch 生態系統也隨之增長，新增了許多專案，利用 PyTorch 深度學習在多個垂直領域發揮作用。
PyTorch 在頂級科技出版物中被媒體提及，例如 The New Stack 關於PyTorch 為何備受青睞的文章，以及 InfoWorld 關於 TorchAO PyTorch 庫如何使模型更快更小的文章。
我們釋出了 74 篇技術和社群部落格，全年有近千萬人訪問了 PyTorch 網站。
感謝所有幫助我們取得今年傑出成功的人！PyTorch 在過去一年中經歷的演變和增長，是由這個出色社群的熱情、奉獻和才華推動的。展望明年，我們很高興能在此基礎上再接再厲，繼續推動 AI 的邊界。
請記住 PyTorch 大會的日期，它將於 2025 年 10 月 22-23 日在舊金山舉行。2025 年有望帶來更大的創新和更強的社群協作。