在 2024 年全球開發者大會上，蘋果重磅推出了 Apple Intelligence，這是一個全新的個性化智能系統， 可以提供實用的智能服務，覆蓋 iPhone、iPad 和 Mac，并深度集成在 iOS 18、iPadOS 18 和 macOS Sequoia 中。

庫克曾經表示，Apple Intelligence 是蘋果創新的新篇章，將改變用戶使用產品的方式。他強調，蘋果獨特的方法結合了生成式人工智能和用戶的個人信息，能提供真正有用的智能服務。此外，Apple Intelligence 能夠以完全私密和安全的方式訪問信息，幫助用戶完成對他們最重要的事情。這是蘋果獨有的 AI 體驗。

如今，距離 Apple Intelligence 官宣一個多月過去了，這項技術終于落地智能設備，相關技術文檔也終于放出。

在剛剛過去的一天，擁有 iPhone 15 Pro 或 iPhone 15 Pro Max 的用戶可以下載 iOS 18.1 開發測試版，并可以體驗 Apple Intelligence 的功能了。

隨著這篇長達 47 頁技術報告的出爐，我們可以更加深入的了解 Apple Intelligence 背后的秘密武器。

• 報告地址：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

報告詳細介紹了其中兩款模型 ——AFM-on-device，AFM 代表 Apple Foundation Model，是一個約 30 億參數的語言模型，以及一個更大的基于服務器的語言模型 AFM-server，可以高效、準確和負責地執行專門的任務（圖 1）。

這兩個基礎模型作為蘋果更大的生成模型系列的一部分存在。

架構及訓練

AFM 基礎模型是基于 Transformer 架構構建的密集解碼器模型，采用如下設計：

• 共享輸入 / 輸出嵌入矩陣，以減少用于參數的內存使用。
• 使用 RMSNorm 進行預歸一化以提高訓練穩定性。 
• 查詢 / 鍵歸一化以提高訓練穩定性。
• 具有 8 個鍵值頭的分組查詢注意力（GQA），以減少 KV 緩存內存占用。 
• SwiGLU 激活，以提高效率。 
• RoPE 位置嵌入，基頻（base frequency）設置為 500k，以支持長上下文。  

AFM 預訓練過程在開發高性能語言模型，以支持一系列 Apple Intelligence 功能方面發揮著關鍵作用。研究團隊注重效率和數據質量，以獲得高質量的端到端用戶體驗。

在后訓練方面，研究團隊發現改進通用后訓練可以提升 Apple Intelligence 所有功能的性能，因為模型在遵循指令、推理和寫作方面會具有更強的能力。

為了確保這些模型功能符合蘋果對保護用戶隱私的承諾，以及蘋果的 Responsible AI 原則，后訓練工作包括一系列數據收集和生成、指令調整和對齊創新。后訓練過程包含兩個階段：監督微調（SFT）和來自人類反饋的強化學習（RLHF）。研究團隊提出了兩種新的后訓練算法：（1）帶有 teacher committee（iTeC）的拒絕采樣微調算法，以及（2）一種用于強化學習迭代的 RLHF 算法，帶有鏡像下降策略優化（mirror descent policy optimization）和留一法優勢估計器（leave-one-out advantage estimator）（MDLOO），使得模型質量顯著提高。

Apple Intelligence特性

基礎模型是為 Apple Intelligence 專門設計的，這是一個支持 iPhone、iPad 和 Mac 的個人智能系統。

蘋果發現，針對特定任務的微調，他們可以將小模型的性能提升到一流水平，除此以外，他們還開發了一種基于運行時可交換適配器（runtime-swappable adapters）的架構，使單一基礎模型能夠專門用于數十個此類任務。圖 2 顯示了高級概述。

適配器架構

蘋果使用 LoRA 適配器來針對特定任務進行模型微調。對于每項任務，研究者會調整 AFM 自注意力層中的所有線性投影矩陣以及逐點前饋網絡中的全連接層。僅通過微調適配器，基礎預訓練模型的原始參數保持不變，可以保留模型的一般知識，同時定制適配器以支持特定任務。

量化

為了將 AFM 納入內存預算有限的邊緣設備并降低推理成本，需要考慮量化技術。先前的研究發現，與原始的 32/16 位浮點相比，經過 4 位量化的模型損失會很小。

為了在模型容量和推理性能之間實現最佳平衡，蘋果開發了最先進的量化方法和利用準確率 - 恢復適配器（accuracy-recovery adapters）的框架。使得模型在每個權重平均小于 4 位的情況下，還能實現近乎無損的量化，并提供靈活的量化方案選擇。

方法

經過后訓練，模型被壓縮和量化，得到平均低于 4 位的權重。量化模型通常表現出中等程度的質量損失。因此，蘋果不會將量化后的模型直接用于功能開發，而是附加一組參數高效的 LoRA 適配器以進行質量恢復。

值得注意的是，訓練準確率 - 恢復適配器具有樣本效率，可以看作是訓練基礎模型的迷你版本。在適配器的預訓練階段，只需要大約 100 億個 token（約占基礎模型訓練的 0.15%）即可完全恢復量化模型的能力。

由于應用程序適配器將從這些準確率 - 恢復適配器微調而來，因此它們不會產生任何額外的內存使用或推理成本。關于適配器大小，蘋果發現適配器秩為 16 時提供了模型容量和推理性能之間的最佳權衡。

但是，為了靈活性，蘋果提供了一套具有不同秩 {8、16、32} 的準確率 - 恢復適配器供應用程序團隊選擇。

混合精度量化

AFM 中的每個 transformer 塊和每個層都存在殘差連接。因此，所有層都具有同等重要性的可能性不大。根據這一直覺，蘋果通過推動某些層使用 2 位量化（默認為 4 位）來進一步減少內存使用量。平均而言，AFM-on-device 可以壓縮到每個權重僅約 3.5 位 (bpw)，而不會造成顯著的質量損失。

評估

研究團隊使用常見的開源評估工具和基準來評估 AFM 預訓練模型。表 2 展示了在 HELM MMLU v1.5.0 上 AFM-on-device 和 AFM-server 的結果。

這些基準測試表明，AFM 預訓練模型具有強大的語言和推理能力，為后訓練和特征微調提供了堅實的基礎。

AFM 與開源模型（Phi-3、Gemma-1.1、Llama-3、Mistral、DBRX-Instruct）和商業模型（GPT3.5 和 GPT-4）的比較結果如下圖3所示。與其他模型相比，AFM 模型更受人類評估人員的青睞。特別是，AFM-on-device 與 Phi-3-mini 相比，盡管模型規模小了 25%，但仍獲得了 47.7% 的勝率，甚至優于開源強基線 Gemma-7B 和 Mistral-7B。

為了衡量模型生成響應遵循提示中指令的能力，研究團隊在 IFEval 基準上評估了 AFM-on-device 和 AFM-server，結果如下圖 4 所示：

如圖 5 所示，AFM-server 實現了最佳的整體準確率，優于 Gemini-1.5-Pro-Preview-0514 和 GPT-4。

蘋果將 AFM 與一些最出色的模型以及規模較小的開源模型進行了比較。如圖 6 所示，與 Gemma-7B 和 Mistral-7B 相比，AFM-on-device 可以實現相當或更好的性能。AFM-server 的性能明顯優于 DBRX-Instruct 和 GPT3.5，并且與 GPT4 相當。

圖 7 比較了經過后訓練的 AFM 在數學基準上的表現。結果發現，AFM-on-device 的性能明顯優于 Mistral-7B 和 Gemma-7B，即使規模不到它們的一半。

下圖為人類評分員評估 AFM-on-device 適配器、Phi-3-mini、Llama-3-8B 和 Gemma-7B 在摘要任務上的質量。圖 8 顯示 AFM-on-device-adapter 總體上優于其他模型。

負責任的AI

Apple Intelligence 的開發和設計都注重保護用戶隱私。

圖 9 總結了人類評分員在不同模型上給出的違規率，越低越好。AFM-on-device 和 AFM-server 都對對抗性提示具有魯棒性，其違規率明顯低于開源和商業模型。

圖 10 表明，與其他模型相比，AFM 模型更受人類評分員的青睞。