嘿 Siri、你好小娜、小愛同學(xué)、小藝小藝、OK Google、小布小布……

想必這些喚醒詞中至少有一個曾被你的嘴發(fā)出并成功呼喚出了一個能給你導(dǎo)航、講笑話、添加日程、設(shè)置鬧鐘、撥打電話的智能個人助理（IPA）。可以說 IPA 已經(jīng)成了現(xiàn)代智能手機(jī)不可或缺的標(biāo)配，近期的一篇綜述論文更是認(rèn)為「個人 LLM 智能體會成為 AI 時(shí)代個人計(jì)算的主要軟件范式」。

這篇個人 LLM 智能體綜述論文來自國內(nèi)多所高校和企業(yè)研究所，包括清華大學(xué)、小米、華為、歡太、vivo、云米、理想汽車、北京郵電大學(xué)、蘇州大學(xué)。

文中不僅梳理了個人 LLM 智能體所需的能力、效率和安全問題，還收集并整理了領(lǐng)域?qū)＜业囊娊猓硗膺€開創(chuàng)性地提出了個人 LLM 智能體的 5 級智能水平分級法。該團(tuán)隊(duì)也在 GitHub 上創(chuàng)建了一個文獻(xiàn)庫，發(fā)布了相關(guān)文獻(xiàn)，同時(shí)也可供 IPA 社區(qū)共同維護(hù)，更新最新研發(fā)進(jìn)展。

圖片

論文地址：https://arxiv.org/abs/2401.05459

文獻(xiàn)庫：https://github.com/MobileLLM/Personal_LLM_Agents_Survey

論文標(biāo)題：Personal LLM Agents: Insights and Survey about the Capability, Efficiency and Security

機(jī)器之心整理了這篇綜述論文的內(nèi)容主干，以饗讀者。

科幻描繪了很多亮眼的智能個人助理（IPA），即可以增強(qiáng)個人能力、完成復(fù)雜任務(wù)甚至滿足情感需求的軟件智能體。這些智能體可以代表大多數(shù)人對人工智能（AI）的幻想。

隨著智能手機(jī)、智能家居設(shè)備、電動車等個人設(shè)備的廣泛普及和機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步，這種幻想正在逐漸變成現(xiàn)實(shí)。現(xiàn)在，很多移動設(shè)備都內(nèi)嵌了 IPA 軟件，比如 Siri、Google Assistant、Alexa 等。這些智能體與用戶密切相關(guān)，可以讀取用戶數(shù)據(jù)和傳感器數(shù)據(jù)、控制各種個人設(shè)備、使用與個人賬戶關(guān)聯(lián)的個性化服務(wù)。

但是，當(dāng)今的智能個人助理的靈活性和可擴(kuò)展性都還有限。它們的智能水平還遠(yuǎn)遠(yuǎn)不夠，在理解用戶意圖、推理和任務(wù)執(zhí)行等方面尤其明顯。現(xiàn)如今大多數(shù)智能個人助理都只能執(zhí)行受限范圍內(nèi)的任務(wù)（比如內(nèi)置應(yīng)用的簡單功能）。一旦用戶的任務(wù)請求超出了這些范圍，智能體就無法準(zhǔn)確理解和執(zhí)行這些動作。

要改變這種情況，就必須顯著提升智能體的能力，使其支持范圍更廣、更靈活的任務(wù)。但是，當(dāng)前的 IPA 產(chǎn)品很難支持大范圍的任務(wù)。當(dāng)今大多數(shù) IPA 都需要遵循特定的預(yù)定義規(guī)則，比如開發(fā)者定義的規(guī)則或用戶演示的步驟。因此，除了定義任務(wù)執(zhí)行的觸發(fā)器和步驟之外，開發(fā)者或用戶還必須明確指定他們希望支持哪些功能。本質(zhì)上講，這種方法會限制這些應(yīng)用被用于更廣泛的任務(wù)，因?yàn)橹С指嗳蝿?wù)需要大量時(shí)間和勞動力成本。

某些方法在嘗試通過監(jiān)督學(xué)習(xí)或強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)自動化學(xué)習(xí)，從而支持更多任務(wù)。但是，這些方法也需要大量人工演示和 / 或定義獎勵函數(shù)的工作。

近些年出現(xiàn)的大型語言模型（LLM）為 IPA 的開發(fā)帶來了全新的機(jī)會，其展現(xiàn)出了解決智能個人助理可擴(kuò)展性問題的潛力。

相比于傳統(tǒng)方法，ChatGPT 和 Claude 等大型語言模型已經(jīng)展現(xiàn)出了指令遵從、常識推理和零樣本泛化等特有能力。這些能力的實(shí)現(xiàn)基于在大規(guī)模語料庫（超過 1.4 萬億詞）上進(jìn)行無監(jiān)督學(xué)習(xí)以及后續(xù)通過人類反饋進(jìn)行微調(diào)。利用這些能力，研究者已經(jīng)成功采用大型語言模型來驅(qū)動自動智能體（即 LLM 智能體），其目標(biāo)是通過自動進(jìn)行規(guī)劃和使用搜索引擎、代碼解釋器和第三方 API 等工具來解決復(fù)雜問題。

IPA 是一類特殊的智能體，有望通過 LLM 實(shí)現(xiàn)變革，畢竟 LLM 具備顯著增強(qiáng)的可擴(kuò)展性、能力和有用性。我們可以把 LLM 驅(qū)動的智能個人助理稱為個人 LLM 智能體（Personal LLM Agents）。

相比于普通 LLM 智能體，個人 LLM 智能體會更深度地參與個人數(shù)據(jù)和移動設(shè)備，并且它們也有更明確的設(shè)計(jì)目的：輔助人類而非取代人類。

具體而言，輔助用戶的主要方式是減少他們?nèi)粘Ｉ钪兄貜?fù)、乏味、低價(jià)值的勞動，讓用戶能專注于更有趣、更有價(jià)值的事情，從而提高工作和生活的效率和質(zhì)量。個人 LLM 智能體可基于現(xiàn)有軟件棧（例如移動應(yīng)用、網(wǎng)站等）構(gòu)建，同時(shí)還能通過無處不在的智能自動化能力帶來令人耳目一新的用戶體驗(yàn)。

因此，該團(tuán)隊(duì)預(yù)計(jì)個人 LLM 智能體會成為 AI 時(shí)代個人計(jì)算的主要軟件范式，如圖 1 所示。

圖片

盡管個人 LLM 智能體未來潛力巨大，但相關(guān)研究仍處于起步階段，仍有許多錯綜復(fù)雜的問題和挑戰(zhàn)有待解決。

這篇綜述論文率先討論了實(shí)現(xiàn)個人 LLM 智能體方面的路線圖、設(shè)計(jì)選擇、主要挑戰(zhàn)和可能解決方案。

具體來說，這篇論文主要關(guān)注的是個人 LLM 智能體中與「個人」相關(guān)的部分，其中包括分析和利用用戶個人數(shù)據(jù)、使用個人資源、在個人設(shè)備上部署以及提供個性化服務(wù)。將 LLM 的通用語言能力簡單直接地整合進(jìn) IPA 不在本文的討論范圍內(nèi)。

首先，該團(tuán)隊(duì)對個人 LLM 智能體領(lǐng)域的專家做了一番調(diào)研。他們邀請了業(yè)內(nèi)領(lǐng)先公司、研發(fā)用在個人設(shè)備上的 IPA 和 / 或 LLM 的 25 位首席架構(gòu)師、管理者和 / 或資深工程師 / 研究者他們讓這些專家談了談將 LLM 整合進(jìn)面向消費(fèi)者的產(chǎn)品的機(jī)遇和挑戰(zhàn)。基于對這些專家意見的理解和分析，該團(tuán)隊(duì)總結(jié)了一套簡單又普適的個人 LLM 智能體架構(gòu)，其中最重要的部分是對個人數(shù)據(jù)（用戶背景信息、環(huán)境狀態(tài)、行為歷史記錄、個人特征）和個人資源（移動應(yīng)用、傳感器、智能家居設(shè)備）的智能管理和使用。

另外，管理和使用這些個人事項(xiàng)的能力不同于個人 LLM 智能體的智能水平。該團(tuán)隊(duì)從自動駕駛的 1-5 級智能分級獲得靈感，提出了個人 LLM 智能體的 5 個智能等級。

另外，該團(tuán)隊(duì)的這項(xiàng)研究還突出強(qiáng)調(diào)了實(shí)現(xiàn)這類個人 LLM 智能體的一些主要技術(shù)挑戰(zhàn)；他們將這些挑戰(zhàn)分成了三類：基本能力、效率、安全和隱私。他們也詳細(xì)解釋了這三方面的挑戰(zhàn)并全面總結(jié)了可能的解決方案。具體來說，對于每個技術(shù)方面，他們會簡要解釋其與個人 LLM 智能體的相關(guān)性以及對個人 LLM 智能體的重要性，然后再具體討論其中的主要研究問題。

這篇論文的主要內(nèi)容和貢獻(xiàn)可以總結(jié)如下：

總結(jié)了產(chǎn)業(yè)界和學(xué)術(shù)界中智能個人助理的當(dāng)前現(xiàn)狀，同時(shí)分析了它們的主要局限和 LLM 時(shí)代的未來趨勢。

收集了 LLM 和個人智能體領(lǐng)域資深專家的見解、提出了一個普適的系統(tǒng)架構(gòu)并定義了個人 LLM 智能體的智能水平。

總結(jié)了個人 LLM 智能體三個重要技術(shù)方面的文獻(xiàn)，包括基本能力、效率、安全和隱私。

智能個人助理簡史

智能個人助理發(fā)展時(shí)間線

智能個人助理（IPA）的發(fā)展史已經(jīng)很長。圖 2 給出了 IPA 歷史的大致時(shí)間線。其發(fā)展過程可以分為四個階段，圖中采用了不同的顏色標(biāo)記。

圖片

第 1 階段是從 1950 年代到 1980 年代末，這一時(shí)期的重點(diǎn)是開發(fā)語音識別技術(shù)。

第 2 階段是從 1990 年代到 2000 年代末，此時(shí)語音識別已經(jīng)開始被整合進(jìn)一些軟件實(shí)現(xiàn)一些高級功能。

第 3 階段始于 2010 年代初。這時(shí)候，智能手機(jī)和個人計(jì)算機(jī)等移動設(shè)備上開始出現(xiàn)總是開啟的虛擬助手服務(wù)。2011 年，Siri 被集成到了 iPhone 4S 中，也被廣泛認(rèn)為是首個安裝在現(xiàn)代智能手機(jī)上的智能個人助理。

第 4 階段則是始于近期 ——LLM 開始贏得世界矚目。現(xiàn)在已經(jīng)出現(xiàn)了很多基于 LLM 的智能聊天機(jī)器人（如 ChatGPT），還有一些安裝在個人設(shè)備上的 LLM 驅(qū)動的 IPA 軟件（如 Copilot）。

從技術(shù)角度看智能個人助理發(fā)展史

在觀察智能個人助理時(shí)，我們可以選擇很多不同視角，這里作者選擇重點(diǎn)關(guān)注其最重要的一項(xiàng)能力，即任務(wù)自動化的能力（遵從指令并完成任務(wù)）。下面將介紹四種用于在 IPA 中實(shí)現(xiàn)智能任務(wù)自動化的主要技術(shù)。

基于模板的編程：大多數(shù) IPA 商業(yè)產(chǎn)品都是通過基于模板的編程來實(shí)現(xiàn)任務(wù)自動化。這種方法是把要自動化的功能預(yù)定義成模板；通常來說，模板中會包含任務(wù)描述、相關(guān)動作、要匹配的示例查詢、需要填充的可用參數(shù)等。用戶給出指令后，智能體首先會將指令映射到最相關(guān)的模板，然后再按照預(yù)定義的步驟完成任務(wù)。其工作流程如圖 3 所示。

圖片

監(jiān)督學(xué)習(xí)方法：監(jiān)督學(xué)習(xí)是一種實(shí)現(xiàn)任務(wù)自動化的直接方法，其做法是基于任務(wù)輸入和當(dāng)前狀態(tài)預(yù)測后續(xù)的動作和狀態(tài)。這方面的主要研究問題包括如何學(xué)習(xí)軟件 GUI 的表征以及如何訓(xùn)練交互模型。

強(qiáng)化學(xué)習(xí)方法：不同于需要大量訓(xùn)練樣本的基于監(jiān)督學(xué)習(xí)的任務(wù)自動化方法，基于強(qiáng)化學(xué)習(xí)（RL）的方法允許智能體通過與目標(biāo)接口持續(xù)交互來獲得任務(wù)自動化的能力。在交互過程中，智能體會獲得指示任務(wù)完成進(jìn)度的獎勵反饋，并逐漸學(xué)習(xí)如何通過最大化獎勵回報(bào)來自動化任務(wù)。

對基礎(chǔ)模型的早期使用：近年來，以大型語言模型（LLM）為代表的預(yù)訓(xùn)練大型基礎(chǔ)模型發(fā)展迅速，為個人助理帶來了新機(jī)會。

個人 LLM 智能體：定義和見解

我們正在見證基于 LLM 的智能個人助理的巨大潛力，也能看到學(xué)術(shù)界和產(chǎn)業(yè)界對這一技術(shù)的廣泛興趣。該團(tuán)隊(duì)通過這個研究項(xiàng)目率先系統(tǒng)性地討論了與這一方向相關(guān)的機(jī)會、挑戰(zhàn)和技術(shù)。

他們首先對個人 LLM 智能體（Personal LLM Agents）進(jìn)行了定義：一類深度整合了個人數(shù)據(jù)、個人設(shè)備和個人服務(wù)的基于 LLM 的特殊智能體。

個人 LLM 智能體的主要目標(biāo)是輔助終端用戶，幫助他們減少重復(fù)性和繁瑣的工作，讓他們能更關(guān)注更有趣和更重要的事務(wù)。

按照這一定義，通用的自動化方法（prompt 設(shè)計(jì)、規(guī)劃、自我反思等）類似于普通的基于 LLM 的智能體。這里重點(diǎn)關(guān)注的是與「個人」相關(guān)的部分，比如個人數(shù)據(jù)管理、對智能手機(jī)應(yīng)用的使用情況以及部署到資源有限的個人設(shè)備等等。

該團(tuán)隊(duì)預(yù)計(jì)：在 LLM 時(shí)代，個人 LLM 智能體將成為個人設(shè)備的一個主要軟件范式。但是，個人 LLM 智能體的軟件棧和生態(tài)系統(tǒng)仍處于非常早期的階段。與系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)相關(guān)的許多重要問題尚不明晰。

因此，為了了解這些問題，該團(tuán)隊(duì)做了一番調(diào)研，收集并整理了 25 位該領(lǐng)域?qū)＜业囊娊狻＿@ 25 位專家是來自 8 家研發(fā) IPA 相關(guān)產(chǎn)品的領(lǐng)先公司的首席架構(gòu)師、管理者或高級工程師 / 研究者。他們分享了對個人 LLM 智能體的看法，并解答了一些從應(yīng)用場景到部署挑戰(zhàn)等方面的常見問題。基于這些討論和收集到的答案，該團(tuán)隊(duì)將這些見解分成了三個方面，包括個人 LLM 智能體的關(guān)鍵組件、智能水平分級、有關(guān)常見問題的專家意見。

關(guān)鍵組件

基于對個人 LLM 智能體所需功能的討論，該團(tuán)隊(duì)總結(jié)了支持這些功能的主要組件，如圖 4 所示。

圖片

個人 LLM 智能體的智能水平

個人 LLM 智能體應(yīng)具備的功能需要不同的能力。受自動駕駛 6 個等級的啟發(fā)，該團(tuán)隊(duì)將個人 LLM 智能體的智能水平分成了 1 級到 5 級共 5 個層級，如圖 5 所示。

圖片

下表 1 列出了每一級的關(guān)鍵特征和代表性用例。

圖片

對常見問題的看法

接下來報(bào)告的是該團(tuán)隊(duì)收集整理的對一些常見問題的專家意見。這些問題包括部署個人 LLM 智能體的設(shè)計(jì)選擇和潛在挑戰(zhàn)，如表 2 所示。

圖片

該團(tuán)隊(duì)分析了所得答案，并總結(jié)出以下關(guān)鍵見解。

意見 1（將 LLM 部署在哪里）：將 LLM 在邊緣 - 云（本地 - 遠(yuǎn)程）協(xié)同部署是首選，而現(xiàn)有的純云（僅遠(yuǎn)程，例如 ChatGPT）并不是一個被廣泛接受的解決方案。

圖片

意見 2（如何定制智能體）：在定制化方面，人們最接受的方法是組合使用微調(diào)和上下文學(xué)習(xí)。

圖片

意見 3（使用哪些模態(tài)）：個人 LLM 智能體最需要的是多模態(tài) LLM，尤其是文本和視覺模態(tài)。

圖片

意見 4（哪些 LLM 能力對 IPA 產(chǎn)品最重要）：專家認(rèn)為最重要的 LLM 能力是語言理解，而最不重要的能力是處理長上下文的能力。

圖片

意見 5（如何與智能體交互）：基于語音的交互是最受歡迎的方式。

圖片

意見 6（需要開發(fā)哪些智能體能力）：對于個人 LLM 智能體的未來開發(fā)，參與專家認(rèn)為最重要的功能是「更智能和更自動化的決策能力」。

意見 7（理想的 IPA 需要哪些功能）：根據(jù)參與專家的回答，可以總結(jié)出理想智能體應(yīng)具備的六大關(guān)鍵功能：高效的數(shù)據(jù)管理和搜索，工作和生活輔助，個性化服務(wù)和推薦，自動化任務(wù)規(guī)劃和完成，情感支持和社交互動，作為用戶的數(shù)字代表等。

意見 8（最緊迫的技術(shù)挑戰(zhàn)有哪些）：根據(jù)參與專家的回答，可將最緊迫的技術(shù)挑戰(zhàn)分為以下類別：智能（包括多模態(tài)支持、上下文理解和情境感知型行動、增強(qiáng)輕量級 LLM 在特定領(lǐng)域的能力）；性能（有效的 LLM 壓縮或緊湊架構(gòu)、實(shí)用的本地 - 遠(yuǎn)程協(xié)作架構(gòu)）；安全和隱私（數(shù)據(jù)安全和隱私保護(hù)、推理準(zhǔn)確度和無害性）；個性化和存儲；傳統(tǒng)操作系統(tǒng)支持。

基本能力

為了讓個人 LLM 智能體支持各種不同的功能，需要讓其具備一些基本能力。除了普通 LLM 智能體都有的基本功能之外，這里重點(diǎn)關(guān)注的是個人助理應(yīng)具備的三項(xiàng)基本能力：任務(wù)執(zhí)行、情境感知、記憶。圖 8 給出了這些基本能力之間的關(guān)系。

圖片

任務(wù)執(zhí)行

個人 LLM 智能體的任務(wù)執(zhí)行能力讓其可以響應(yīng)用戶請求并執(zhí)行指定的任務(wù)。在該團(tuán)隊(duì)設(shè)想的場景中，智能體需要與智能手機(jī)、計(jì)算機(jī)和物聯(lián)網(wǎng)設(shè)備等各種個人設(shè)備交互并控制它們來自動執(zhí)行用戶指令。

任務(wù)執(zhí)行功能的一項(xiàng)基本需求是智能體有能力準(zhǔn)確理解用戶下達(dá)的任務(wù)。通常來說，任務(wù)可能來自用戶口頭或書面下達(dá)的指令，智能體可以從中解讀出用戶的意圖。隨著語音識別技術(shù)的成熟，現(xiàn)在已經(jīng)能非常方便地將語音信息轉(zhuǎn)換成文本。

在將用戶命令轉(zhuǎn)換成文本后，個人 LLM 智能體應(yīng)該能自動進(jìn)行規(guī)劃和采取行動。盡管規(guī)劃對傳統(tǒng) DNN 來說很困難，但基于 LLM 的智能體在這方面卻表現(xiàn)很好。之前已有一些綜述論文討論了 LLM 智能體的規(guī)劃和推理能力。這篇論文關(guān)注的重點(diǎn)是操作個人數(shù)據(jù)以及與個人設(shè)備交互。一個需要考慮的重點(diǎn)是個人 LLM 智能體交互的應(yīng)用或系統(tǒng)可能缺乏全面的 API 支持。因此，可以探索將用戶界面（UI）作為個人智能體的重要工具，以在 API 受限的場景中實(shí)現(xiàn)有效交互。

情境感知

情境感知是指智能體感知用戶或環(huán)境的狀態(tài)的過程，如此一來便可提供更定制化的服務(wù)。

這篇論文對情境感知采用了更廣義的定義，把一般的信息收集過程都視為感知。基于硬件的感知遵循傳統(tǒng)的感知概念，其中涉及到通過各種傳感器、可穿戴設(shè)備、邊緣設(shè)備等數(shù)據(jù)源。另一方面，基于軟件的感知則有各種各樣的數(shù)據(jù)獲取方式。舉個例子，分析用戶的打字習(xí)慣和常用短語就是一種基于軟件的感知。

在個人 LLM 智能體中，情境感知能力有多種作用：實(shí)現(xiàn)對感知型任務(wù)的支持、補(bǔ)充情境信息、觸發(fā)情境感知型服務(wù)、增強(qiáng)智能體的記憶。

記憶

記憶是指記錄、管理和使用歷史數(shù)據(jù)的能力。該能力讓智能體可以跟蹤用戶、學(xué)習(xí)過去的經(jīng)驗(yàn)、提取有用知識以及使用這些知識來進(jìn)一步提升服務(wù)質(zhì)量。相關(guān)的研究工作主要是想解答兩個問題：如何獲取記憶以及如何使用記憶。

效率

由于許多個人設(shè)備的硬件資源和能源供應(yīng)有限，因此提升個人 LLM 智能體在部署階段的效率是非常重要的。之前討論的任務(wù)執(zhí)行、情境感知和記憶等個人 LLM 智能體的基本能力都還有更基礎(chǔ)的過程，主要包括 LLM 智能體的推理、定制化和記憶檢索，見圖 9。這些過程都需要針對效率進(jìn)行精心的優(yōu)化。

圖片

LLM 的推理能力是智能體的各種能力的基礎(chǔ)。因此，LLM 推理可能成為個人 LLM 智能體的性能瓶頸，需要仔細(xì)優(yōu)化其效率。

定制化也是個人 LLM 智能體用于滿足不同用戶需求的重要過程。由于定制化的需求很大，因此該過程可能會給系統(tǒng)的計(jì)算和存儲資源帶來較大壓力。

記憶操作也是一個高成本過程。為了提供更好的服務(wù)，智能體可能需要訪問更長的上下文或外部記憶，比如環(huán)境感知數(shù)據(jù)、用戶配置文件、交互歷史、數(shù)據(jù)文件等。

圖 10 總結(jié)了可用于提升 LLM 智能體效率的技術(shù)。

圖片

高效推理

為了提升 LLM 的推理效率，人們已經(jīng)提出了很多模型或系統(tǒng)層面的方法，其中包括：

模型壓縮：直接降低模型大小或減少計(jì)算量，從而降低 LLM 在計(jì)算、內(nèi)存和能量方面的需求，進(jìn)而提升推理效率。模型壓縮技術(shù)可以進(jìn)一步分類：量化、剪枝（稀疏化）、蒸餾和低秩分解。

推理加速：除了下面會提到的讓模型更緊湊之外，還有一些用于加速 LLM 推理過程的技術(shù)。LLM 與傳統(tǒng)非 Transformer 模型的一大關(guān)鍵差異是注意力機(jī)制。由于注意力的計(jì)算成本會隨上下文長度而近二次增長，因此增強(qiáng)模型在長上下文推理方面的計(jì)算效率就格外重要了。為了更好地支持長上下文推理，現(xiàn)有的研究工作主要集中于降低上下文長度和優(yōu)化注意力核。

減少內(nèi)存用量：LLM 推理不僅計(jì)算成本高，而且內(nèi)存需求也大，這也是部署個人 LLM 智能體的一大挑戰(zhàn)。KV 緩存和模型權(quán)重是內(nèi)存開銷的兩個主要原因。研究者已經(jīng)針對這兩方面提出了一些優(yōu)化方法，包括通過量化或剪枝技術(shù)來壓縮 KV 緩存。

能耗優(yōu)化：能耗高的智能體不僅會增加部署成本和碳足跡，而且還會因?yàn)闇囟壬吆蜐撛诘臒峁?jié)流而損害體驗(yàn)質(zhì)量（QoE）。由于計(jì)算和內(nèi)存訪問（主要是權(quán)重加載）是高能耗的兩個主要原因，因此有很多旨在優(yōu)化這兩個方面的研究，其中既有軟件方面的研究，也有硬件方面的研究。

高效定制化

個人 LLM 智能體可能需要使用同一個基礎(chǔ) LLM 為不同用戶提供服務(wù)，在不同場景中執(zhí)行不同的任務(wù)，因此這需要針對每種情況進(jìn)行高效的定制化。

定制化 LLM 行為的方法主要有兩種：一是為 LLM 提供不同的上下文 prompt 供其上下文學(xué)習(xí)，二是使用特定領(lǐng)域的數(shù)據(jù)微調(diào) LLM。因此，定制化效率的主要決定因素是上下文加載效率和 LLM 微調(diào)效率。

上下文加載效率：提升上下文加載效率的方法有很多。一種簡單的方法是去掉冗余的 token，縮短上下文長度。另一種方法是降低上下文數(shù)據(jù)傳輸過程中的帶寬消耗。

微調(diào)效率：這方面的技術(shù)大致可以分為這些類別：參數(shù)高效型微調(diào)技術(shù)、高效的優(yōu)化器設(shè)計(jì)和訓(xùn)練數(shù)據(jù)組織管理。

高效操作記憶

為了給出明智的決策，個人 LLM 智能體需要頻繁地檢索內(nèi)部或外部記憶。在 LLM 推理階段，內(nèi)部記憶會表示成上下文 token 并以 KV 緩存的形式存儲。內(nèi)部記憶的檢索是由 Transformer 架構(gòu)中的自注意力模塊隱式處理的。這就需要 LLM 在執(zhí)行推理時(shí)，在長上下文上執(zhí)行更高效的計(jì)算，同時(shí)盡力最小化內(nèi)存足跡。這些問題與之前討論的 LLM 的推理效率類似。因此，這一小節(jié)主要關(guān)注的是操作外部記憶（可被動態(tài)檢索并添加到上下文中）的效率。

考慮到外部記憶數(shù)據(jù)的多樣性，比如用戶配置文件、交互歷史和本地原始文件（圖像、視頻等），常見做法是使用嵌入模型將記憶數(shù)據(jù)表示成一種統(tǒng)一格式的高維向量。向量之間的距離表示對應(yīng)數(shù)據(jù)之間的語義相似度。對于每一次查詢，智能體都需要在外部記憶存儲中找到最相關(guān)的部分。這個過程以及對向量的維護(hù)工作可以通過向量軟件庫（如 Faiss 和 SCaNN）、向量數(shù)據(jù)庫或某種定制的記憶結(jié)構(gòu)完成。不管這些系統(tǒng)的功能有何差異，他們的效率優(yōu)化目標(biāo)基本都集中于兩個方面：搜索和檢索。

安全和隱私

個人 LLM 智能體不同于普通 LLM 智能體，會使用大量敏感的個人數(shù)據(jù)和安全性至關(guān)重要的個人工具。因此，保護(hù)個人 LLM 智能體用戶的數(shù)據(jù)隱私和服務(wù)安全就成了一個至關(guān)重要的問題。在個人 LLM 智能體語境中有三大安全原則：保密性、完整性和可靠性；如圖 11 所示。

圖片

保密性

這一小節(jié)討論的是在使用個人 LLM 智能體時(shí)保護(hù)用戶隱私的可能方法。前面已經(jīng)提到，由于個人助理有權(quán)訪問大量敏感的用戶數(shù)據(jù)，因此確保用戶隱私至關(guān)重要。

不同于用戶需要明確輸入文本的傳統(tǒng) LLM 聊天機(jī)器人，個人 LLM 智能體有可能在用戶不知情的情況下自發(fā)啟動查詢，其中可能包含有關(guān)用戶的敏感信息。另外，智能體也可能將用戶信息暴露給其它智能體或服務(wù)。因此，保護(hù)用戶隱私就變得更加重要了。

增強(qiáng)保密性的方法有很多，包括本地?cái)?shù)據(jù)處理、同態(tài)加密、數(shù)據(jù)脫敏、訪問權(quán)限控制等。

完整性

完整性是指讓個人 LLM 智能體有能力確保正確輸出用戶期望的內(nèi)容，即便在面臨各種類型的攻擊時(shí)也能做到。

由于個人 LLM 智能體必定會和不同類型的數(shù)據(jù)、應(yīng)用及其它智能體交互，所以它有可能遇到惡意第三方的攻擊，這些攻擊的目的通常是通過非常規(guī)手段竊取用戶數(shù)據(jù)和資產(chǎn)或破壞系統(tǒng)的正常功能。

因此，系統(tǒng)必須有能力抵御各種類型的攻擊。通過加密、權(quán)限控制、硬件隔離等措施，可以防御模型參數(shù)修改、竊取、篡改本地?cái)?shù)據(jù)等傳統(tǒng)攻擊方式。但是，除了防御傳統(tǒng)的攻擊方法外，還應(yīng)該關(guān)注 LLM 智能體可能遇到的新型攻擊：對抗攻擊、后門攻擊和 prompt 注入攻擊。

可靠性

使用個人 LLM 智能體時(shí)，許多關(guān)鍵操作是由 LLM 決定的，包括一些敏感操作，例如修改和刪除用戶信息、采購服務(wù)、發(fā)送消息等。因此，確保智能體決策過程的可靠性至關(guān)重要。

該團(tuán)隊(duì)從三個方面探討了 LLM 的可靠性，包括問題（即 LLM 的可靠性問題體現(xiàn)在哪里？）、改進(jìn)（即如何讓 LLM 的回答更可靠？）和檢查（即如何處理 LLM 可能輸出的不可靠結(jié)果？）。

更多技術(shù)細(xì)節(jié)請參閱原論文。