ExecuTorch Llama iOS 演示應用程式

親身體驗在您的 iOS 裝置上原生執行透過 ExecuTorch 匯出的 LLaMA 和 LLaVA 模型！

點選下方圖片檢視實際效果！

要求

• Xcode 15.0 或更高版本

• Cmake 3.19 或更高版本

  • 下載並開啟 macOS 的 .dmg 安裝程式，然後將 Cmake 應用程式移動到 /Applications 資料夾。

  • 安裝 Cmake 命令列工具：sudo /Applications/CMake.app/Contents/bin/cmake-gui --install

• 一個具有 increased-memory-limit 許可權的開發 provisioning profile。

模型

從 HuggingFace 下載已匯出的 LLaMA/LLaVA 模型及分詞器，或者自行匯出由 XNNPACK 或 MPS 後端加速的模型。

構建並執行

1. 確保 git 子模組是最新的

   git submodule update --init --recursive
   

2. 開啟 Xcode 專案

   open examples/demo-apps/apple_ios/LLaMA/LLaMA.xcodeproj
   

3. 點選執行按鈕，在模擬器中啟動應用程式。

4. 要在裝置上執行，請確保已將其設定為開發模式，並且具有 increased-memory-limit 許可權的 provisioning profile。更新應用程式的 bundle identifier 以匹配具有所需功能的 provisioning profile。

5. 成功啟動應用程式後，將匯出的 ExecuTorch 模型 (.pte) 和分詞器 (.model) 檔案複製到 iLLaMA 資料夾中。

   • 對於模擬器：將兩個檔案拖放到模擬器視窗中，並將其儲存在 On My iPhone > iLLaMA 資料夾中。

   • 對於裝置：開啟一個單獨的 Finder 視窗，導航到“檔案”標籤頁，將兩個檔案拖放到 iLLaMA 資料夾中，然後等待複製完成。

6. 按照應用程式的使用者介面指南從本地檔案系統選擇模型和分詞器檔案，並輸入提示語。

更多詳細資訊，請查閱在 iOS 上使用 ExecuTorch 頁面。