論文提出了一個(gè)卓越的記憶框架——MemOS，它將記憶功能提升為系統(tǒng)級調(diào)用。大語言模型遺忘速度快，重新訓(xùn)練成本高昂。MemOS將記憶視為操作系統(tǒng)中的文件，讓模型能夠在運(yùn)行時(shí)動態(tài)地寫入、移動和淘汰知識，而不僅僅是在訓(xùn)練期間。它將每個(gè)事實(shí)或狀態(tài)封裝在一個(gè)記憶立方體（MemCube）中，標(biāo)記創(chuàng)建者和時(shí)間戳，然后調(diào)度器根據(jù)使用情況將該立方體在純文本、GPU緩存或微型權(quán)重補(bǔ)丁之間移動。在LOCOMO基準(zhǔn)測試中，該系統(tǒng)達(dá)到73.31分的LLM-Judge平均分，比次佳記憶系統(tǒng)高出約9分，在復(fù)雜的多跳和時(shí)序問題上保持領(lǐng)先。即使處理約1500個(gè)記憶令牌，它也能匹配全上下文的準(zhǔn)確性，同時(shí)保持與輕量級基線相當(dāng)?shù)难舆t。將熱點(diǎn)立方體切換到KV緩存可在Qwen2.5-72B測試中將首令牌等待時(shí)間減少91.4%，且不改變?nèi)魏屋敵鑫谋尽？傮w而言，研究結(jié)果表明，將記憶作為操作系統(tǒng)的方法能夠提升推理質(zhì)量、降低延遲，并同時(shí)內(nèi)置審計(jì)和版本控制功能。

圖片

記憶系統(tǒng)的困境：大多數(shù)模型將所有信息壓縮到數(shù)十億個(gè)凍結(jié)權(quán)重中，因此更新哪怕一個(gè)事實(shí)都需要完整的微調(diào)。上下文窗口雖然能暫時(shí)幫助，但會在下一個(gè)提示后消失，而檢索管道會添加額外文本卻不跟蹤版本或所有權(quán)。第2頁的圖1顯示MemOS在單跳、多跳、開放域和時(shí)序問題上都優(yōu)于舊有解決方案，這表明單純的參數(shù)調(diào)整或普通的RAG永遠(yuǎn)不夠。

圖片

記憶立方體的內(nèi)容：記憶立方體封裝實(shí)際記憶加上元數(shù)據(jù)，如所有者、時(shí)間戳、優(yōu)先級和訪問規(guī)則。該封裝適用于三種記憶形式：純文本片段、位于KV緩存中的激活張量，以及低秩參數(shù)補(bǔ)丁。由于每個(gè)立方體都記錄訪問者和原因，調(diào)度器可以將熱點(diǎn)立方體提升到GPU緩存或?qū)⒗溟T立方體存儲到歸檔存儲中，同時(shí)不丟失審計(jì)軌跡。

圖片

三層架構(gòu)的協(xié)同工作：接口層將用戶對話轉(zhuǎn)換為結(jié)構(gòu)化的MemoryAPI調(diào)用，將"去年的檢查"之類的問題轉(zhuǎn)化為時(shí)間范圍查詢。操作層運(yùn)行MemScheduler、MemOperator和MemLifecycle來選擇立方體、融合重疊內(nèi)容，并將這些立方體標(biāo)記為激活、合并或歸檔狀態(tài)。基礎(chǔ)設(shè)施層通過MemGovernance保護(hù)立方體，通過MemLoader/MemDumper傳輸它們，并將它們存儲在MemVault中，后者可以是向量存儲、圖數(shù)據(jù)庫或?qū)ο蟠鎯ν啊?/p>

圖片

調(diào)度器保持記憶新鮮：MemScheduler決定哪個(gè)立方體放置在何處。高命中率的純文本轉(zhuǎn)換為激活張量以便即時(shí)重用，穩(wěn)定的激活模式最終蒸餾為參數(shù)補(bǔ)丁以實(shí)現(xiàn)零提示開銷。舊立方體則反向滑動，一旦停止獲得命中，昂貴的權(quán)重就轉(zhuǎn)換為便宜的文本。

圖片

數(shù)據(jù)驗(yàn)證效果：在LOCOMO基準(zhǔn)測試中，MemOS獲得73.31分的LLM-Judge分?jǐn)?shù)，比次佳系統(tǒng)高出約9分，同時(shí)保持相似的延遲預(yù)算。在多跳和時(shí)序推理方面差距尤其明顯，這些領(lǐng)域在上下文缺失時(shí)容易崩潰。

圖片

KV技巧縮短等待時(shí)間：MemScheduler將熱門立方體預(yù)先烘焙為KV緩存條目，使模型跳過編碼器工作。在Qwen2.5-72B測試中，首令牌延遲從1.79秒降至0.15秒，減少91%，輸出文本保持逐字節(jié)相同。

論文標(biāo)題：MemOS: A Memory OS for AI System

論文鏈接：???https://arxiv.org/abs/2507.03724??

本文轉(zhuǎn)載自???????AI帝國???????，作者：無影寺