三月底，PyTorch 韓國使用者組舉辦了一場特別的見面會，彙集了傑出演講者，就 PyTorch 核心及其更廣泛的生態系統進行了深入討論。與以往的聚會相比，本次活動規模擴大了一倍多，我們得以與更多開發者建立聯絡並分享見解。非常感謝 goorm 贊助了絕佳的場地！😄
本次回顧旨在為未能親臨現場的人以及希望重溫當天活力和見解的參與者提供資訊。本次活動邀請了 PyTorch 核心、AI 加速器、推理最佳化和大型語言模型開發領域的專家。以下是本次會議主要環節的快速概覽。
1️⃣ Jerry Lee | PyTorch 基金會
作為 Linux 基金會一部分的 PyTorch 基金會代表，Jaeung 概述了 PyTorch 如何推動核心開源技術向前發展。他分享了 PyTorch 的成長故事、目前正在進行的眾多全球專案以及該生態系統令人印象深刻的每年 20% 以上的增長。本次會議還涵蓋了基金會的運作方式、成員組織的參與方式以及對從業者特別有用的未來計劃。
2️⃣ Alban Desmaison | PyTorch 路線圖
Alban 分享了 PyTorch 和 Meta 官方貢獻路線圖 (連結) 背後的設計理念。他深入探討了 Eager 模式和 Compiled 模式之間的技術差異，特別是詳細分解了裝置 Eager 執行的後端架構。他還介紹了實用工具和改進，例如記憶體分析器、增強的自定義運算子支援和固定記憶體最佳化。
3️⃣ Hongseok Kim | PyTorch 在 Rebellions AI 加速器上的狀態
Rebellions 正在為其專有 NPU 架構構建執行時整合，完全符合 PyTorch 2.0 中的結構變化。本次演講介紹了他們即將推出的晶片的效能和可擴充套件性、他們與 PyTorch 執行時的整合策略以及支援 Eager 模式所面臨的挑戰。Hongseok 還預告了他們將在年內釋出這些功能的路線圖。
4️⃣ Kyujin Cho | Backend.AI：一個適用於所有 AI 加速器的統一平臺
Backend.AI 將各種 AI 加速器抽象並整合到統一的工作流程中。隨著加速器架構多樣性的增長，對可移植性和基礎設施統一的需求變得更加重要。本次會議展示了開發和運維方面的功能——從 NPU 排程和資源分配到監控。Backend.AI 目前支援來自 NVIDIA、Intel、Tenstorrent、Rebellions 等公司的加速器。
5️⃣ Taeho Kim | 使用 NetsPresso 在多個晶片組上最佳化和部署模型
本次演講側重於 AI 模型在實際工業應用中推理所面臨的挑戰。隨著新的最先進模型迅速湧現，對能夠快速驗證裝置相容性（理想情況下只需一鍵操作）的環境的需求日益增長。NetsPresso 正在積極開發與 PyTorch 相容的靜態圖表示，為模型開發、最佳化和測試提供高效支援。
6️⃣ Jungyeop Lee | 復現 Deepseek-R1 的歷程
Jungyeop 帶領我們回顧了他復現大型語言模型 Deepseek 的歷程，這項工作涉及 201 次實驗。他分享了使用韓語資料進行訓練、分詞器修改和微調策略的真實經驗。他的實用見解和後續步驟對於那些從頭開始構建或重新實現大型模型的人來說尤其有價值。
7️⃣ Sol Kim | 從 TCP 架構到生產級 LLM 的旅程
Sol 提出了使用 TCP（張量收縮處理器）架構部署大型模型的整合最佳化方法，該架構在硬體層面支援張量收縮。本次演講強調了基於硬體抽象層 (HAL) 的最佳化技術以及與 PyTorch 的自下而上整合策略——提供了混合硬體-軟體視角。
💡 小組討論與問答 💡
活動以一場引人入勝的小組討論結束。與會者提出了尖銳的問題，演講者給出了富有洞察力的答案。這是一個激動人心的時刻，它抓住了社群對 PyTorch 的熱情以及他們對更深入技術理解的渴望。
總結
自 2022 年 10 月首次線下見面會以來，PyTorch 韓國使用者組已舉辦了五次大型技術會議。每次活動都加深了我們對 PyTorch 生態系統規模和深度的認識。透過使用者、貢獻者和生態系統建設者的視角，我們分享的故事只會越來越多——我們致力於繼續這段旅程。
下屆會議再見——屆時將有更精彩的演講！🙌