撰稿 | 云昭
出品 | 51CTO技術棧（微信號：blog51cto）
臨近年末，生成式AI的“驚艷”速度遠遠超過了人們“野望”它的速度。比如炙手可熱的Midjourney推出了再度炸街的V6版本，再比如謠傳月底即將發布的GPT4.5、谷歌的多模態模型Gemini發布等等。
然而，Apple看似在這一年里顯得格外低調，沒有像谷歌那樣硬剛OpenAI的GPT4，也沒有像微軟或亞馬遜那樣高調的將大模型搞進“云”。
但今天大家才明白，Apple搞的事情，卻是決定成敗的“最后一公里”的事情：讓大模型高效地跑在iPhone的內存上！
1、大模型，在閃存中
Apple亮出劍鋒，在20日發表了一篇很硬核的在手機內存上運行大模型的論文（《LLM在閃存中：內存有限的高效大型語言模型推理》），在文中構建了一個可以大大擴展LLM適用性和普及性的研究框架，該框架以閃存為基礎進行推理，并在兩個關鍵領域進行了優化：減少閃存傳輸的數據量，讀取更大、更連續的數據塊。
圖片
那么，Apple是如何做到的呢？它采用了兩種主要技術：
首先，“窗口化”通過重復使用先前激活的神經元來戰略性地減少數據傳輸。
其次，根據閃存的時序數據的訪問強度量身定制“行-列綁定”技術，從而增加了從閃存讀取的數據塊的大小。
圖片
看不懂不重要，重要的是極大擴大了在手機上運行大模型的參數大小，以及加快了模型的推理速度，具體而言：
這兩種方法共同實現了運行高達可用DRAM兩倍大小的模型，與CPU和GPU中的原始加載方法相比，推理速度分別提高了4-5倍和20-25倍。
這也就意味著，將大模型搬到手機中，基本上算是板上釘釘的事情了！Apple正在積攢新的AI黑科技，從芯片、到存儲、再到模型和應用，Apple一改緩慢姿態，殺招即將亮出！且讓我們看看Apple的近期動作。
2、 Apple的自研大模型怎么樣了
GPT4的發布，讓整個科技行業從興奮到狂熱，只有Apple這家科技巨頭貌似“心靜如水”。
然而，即使Apple首席執行官庫克一度公開表示：對于蘋果公司多年來一直致力于生成式AI，但稀少的成果報道無疑加重了蘋果內部人員在猝不及防之間，對于技術重大延遲的焦慮感。
此前就有消息報道，7月，蘋果發布了自己的大型語言模型Ajax（基于谷歌的JAX），并引入了一個名為“Apple GPT”的內部聊天機器人進行測試。目前，該聊天機器人程序主要用于產品的原型設計，只有少數有權限的人才能訪問。
然而，這項技術是否能與現有產品競爭，以及蘋果如何將其有效地集成到其產品中，依舊有待評估。
3、Apple在開局落后的原因
首先是投入成本高昂。據MacRumors稱，蘋果在對話式人工智能研究上的花費，高達每天數百萬美元，因為訓練語言模型需要大量硬件投入。
此外，出于對消費者隱私和AI偏見的問題，蘋果正在思考如何在尊重客戶隱私承諾的前提下使用和處理個人數據。
當然，不得不提的是由于擔心內部數據泄露的問題，前期該公司也限制了員工對于AI工具的使用。
不過好在，Apple也不是沒有積累，據供應鏈數據顯示，Apple可能會在2023年建造數百個人工智能服務器，而明年的建設數量將會更多。
4、加速的Apple，虎狼之師
不過，既然“大模型+應用”的打法一時陷入困局，“設備+大模型”更像是蘋果的不二選擇。
在繁榮時期的相對被動并不影響蘋果憑借自身強大壁壘的厚積薄發，大概在10月左右，蘋果似乎開始改變了其在生成式AI時代下的新打法：
在其所有設備上開發生成式AI功能，包括iOS、Siri和其他應用程序。
最先曝出驚喜的是，11月，開發人員在搭載M3系列的芯片的14英寸MacBook Pro上無縫地運行最大的開源GPT模型（具有1800億個參數的Falcon），而且質量損失很低。同時還聲稱，其增強的神經引擎有助于加速強大的機器學習（ML）模型，同時保護隱私。
這讓AI開發者們自然合不攏嘴。此外，蘋果公司在其博客文章中表示：“該版本的MacBook支持高達128GB的內存，可以解鎖以前在筆記本電腦上無法實現的工作流程。”
圖片
Apple的“生成式人工智能計劃”由高級副總裁John Giannandrea和Craig Federighi領導。蘋果公司服務主管Eddy Cue也參與其中，三人計劃每年為此投資約10億美元。
Giannandrea的團隊負責開發新人工智能系統的底層技術，同時還正在對Siri進行重大改革，致力于使其更加智能，最早可能在明年發布改進版。
但值得一提的是，由于Siri的構建的“繁瑣設計”，蘋果可能需要相當長的時間來更新數據庫以支持新功能。一位前工程師表示，每次添加新短語需要重建Siri數據庫，可能需要長達六周的時間，而添加搜索工具等更復雜的功能可能需要一年以上的時間。
Federighi的軟件工程團隊正在將人工智能融入下一版本的iOS18，重點是使用大型語言模型來增強Siri和消息應用程序的功能。
蘋果的軟件工程團隊正在探索將生成性人工智能集成到Xcode等開發工具中，這可以幫助應用程序開發人員更高效地編寫應用程序。
此外，Cue的團隊正在努力為盡可能多的蘋果應用程序添加人工智能功能，包括Apple Music、Pages、Keynote和Xcode等生產力應用程序。
如果計劃順利，上述所有這些Apple的人工智能，可能會在2024年底前完成。
5、Apple：GenAI的部署之爭
圍繞生成式AI能力部署的追趕，似乎有三條路徑：基于設備，基于云端，還是混合？
蘋果內部正在進行的一場辯論，基于設備上的部署，會更加優先考慮速度和隱私，而基于云的方法，則將實現更上層、更高級的操作。在這些部署方法之間的選擇至關重要，因為蘋果的目標是在快速發展的生成人工智能領域保持競爭力。
不過目前看來，蘋果選擇了混合選項。
6、 2024，邊緣AI之戰
一時間，智能手機端搭配AI有望成為新賣點。而端側部署生成式AI能力，或者說邊緣AI的好處不言而喻——
個人信息無需上傳云端，隱私泄露和數據安全風險降低；AI模型接入本地數據庫和個人信息，有望實現更加個性化定制小模型，提供更個性的用戶服務；通過軟硬件適配，邊緣AI降低運行成本、加快響應速度和提高服務效率。
因此，除了蘋果，著急在生成式AI發力的手機廠商同樣不少。
剛過去的11月，三星推出了自己的設備大模型“Gauss”。據報道，Gauss將被納入即將推出的Galaxy S24智能手機中，該手機定于2024年初發布。
該公司打算將這種語言模型集成到手機、筆記本電腦和平板電腦等設備中，以增強其智能設備的功能。
此外，谷歌還宣布了其名為Gemini Nano的設備LLM，將在即將推出的谷歌Pixel 8手機中推出，提供錄音機應用程序中的匯總和Gboard中的智能回復等功能。
視線拉回國內，8月小米首次在手機上跑通了13億參數的大模型；10月榮耀CEO趙明表官宣新機將會搭載全新驍龍8Gen3以及榮耀自研的7B端側AI大模型；11月，vivo 發布搭載了藍心大模型的x100系列手機，落地終端側70億參數大語言模型，跑通端側130億參數模型，并稱這是全球首個百億大模型在終端調通的大模型手機。
根據市場調查機構Counterpoint Research近日發布的《生成式AI智能手機出貨量洞察》報告，預估2024年會成為生成式AI智能手機的關鍵元年，預估出貨量將達到1億臺，到2027年將達到5.22億臺。
7、寫在最后：讓手機廠商卷起來吧
可以說，端側大模型，或者說邊緣AI的號角，已經在年末吹響了。
Robin那句“卷大模型沒意義”非常nice。有足夠應用市場的技術產品才能推動整個社會的進步。與其說大模型需要變小，不如說大模型需要一種與之相匹配的硬核載體。
目前看，端側/邊緣AI，似乎成為了移動互聯網時代的拐點之戰。大家一起期待AI手機的到來吧！
參考鏈接：
https://analyticsindiamag.com/samsung-announces-gauss-on-device-generative-ai/
https://analyticsindiamag.com/apple-optimises-llms-for-edge-use-cases/
