(正在嘗試移植中)
目前進度:
移植到 Executorch CoreML Backend 對話會重複輸入文字,在 iPhone 16 pro 上無法輸入較長 >100 文字,記憶體不足。
虛擬機 iPhone 大約用掉 6.9 GB,會重複輸入文字。
使用 Executorch Llama 編譯程式可以正常執行在 Macbook Air M1 16 GB 上
聯發科於 2025 年初釋出他們調整過的 Llama 3.2 模型,上傳至 huggingface。MediaTek 提供部分必要的檔案,.pte 跟 tokenizer.bin 檔案。
Meta 的 llama 提供更多檔案,例如 safetensor,並且 MLX-Example 已經提供 llama 轉換格式的程式碼、MLX-Swift-Example 移植到 iOS 平台上,可以使用 mlx-swift-example repository,搭配 Apple Silcon 一次支援 M1 與 iOS 系統。
pte 檔案可以使用 Executorch 跟它提供的專案,移植到 iOS 上使用。