在充滿挑戰與機遇的人工智能領域，大語言模型（Large Language Models, LLMs）已經在多個場景中展現了驚人的潛力。從語言生成到機器翻譯，這些模型不斷突破界限。而在軟件開發這一專業化領域，它們似乎成為了一種理想的助手——幫助程序員從自然語言描述中生成代碼，或通過提示優化現有程序。然而，盡管模型的能力令人驚嘆，它們也面臨著不可忽視的問題：是否能真正理解編程邏輯，還是僅僅在“記住”和“復述”？

來自上海交通大學與加州大學圣地亞哥分校聯合研究團隊敏銳地捕捉到這一點。他們發現，盡管LLMs在面對“原始問題”時能夠生成正確答案，但在面對這些問題的“變體”時，表現往往顯著下降。這種現象被稱為“記憶化”（memorization）。問題在于，這種記憶化現象可能意味著模型只是簡單地記住了訓練中見過的例子，而非真正掌握了解決問題的能力。當問題稍作修改時，例如換一種措辭表達，或者稍微調整邏輯結構，模型的回答會暴露出缺乏泛化能力的短板。這個矛盾便是“記憶”與“概括”之間的對立。

3 月 5 日，他們發表的論文《《Memorize or Generalize? Evaluating LLM Code Generation with Evolved Questions》》直擊問題核心——模型究竟是在復述訓練數據，還是掌握了真正的理解與推理？從語義層面，“記憶”指的是模型復現訓練時遇到的具體例子，而“概括”則意味著能夠超越訓練數據范圍，將已知知識應用到新情況中。尤其在代碼生成領域，這兩種能力的平衡顯得尤為重要。代碼生成不僅要求模型能夠正確輸出程序，還需要它對多變的需求表述具備靈活適應的能力。

這一工作的研究團隊堪稱學界與技術界的強強聯合。來自上海交通大學的Wentao Chen，以及加州大學圣地亞哥分校的Lizhe Zhang, Li Zhong, Letian Peng, Zilong Wang, Jingbo Shang，攜手聚焦于代碼生成任務中的核心難題。他們以深厚的技術積累和創新視角，提出了一種名為“多層次進化框架”的方法。這一框架通過對問題進行突變、改寫和代碼重寫，從多個層次模擬了現實中可能發生的變體場景，檢驗模型應對能力。同時他們引入了“記憶化評分”這一全新指標，結合代碼的準確性和結構相似性，量化模型的記憶化水平。

研究不僅揭示了專注代碼生成的LLMs（如Qwen2.5-Coder-7B）在原始任務上的優異表現和在變體任務上的顯著下滑，還分析了現有緩解記憶化問題的方法，如監督微調、強化學習和問題翻譯。這些嘗試的成效與局限，為未來的技術改進指明了方向。通過這一研究，團隊為理解LLMs在面對變體問題時的能力缺陷提供了新的視角，也為更健壯、更泛化的模型設計奠定了基礎。

背景與問題概述

傳統的代碼生成評估方法通常集中在測試功能正確性上，即通過運行代碼來驗證其是否滿足問題描述中的功能要求。這種方法固然能檢驗代碼的表面有效性，卻無法揭示模型生成代碼時所依賴的潛在機制。換言之，傳統評估并不區分模型是通過“真正理解”問題邏輯生成解答，還是簡單地“記住”了訓練數據中的實例。尤其在代碼生成這一高度結構化的領域，僅憑記憶訓練示例可能會導致模型的泛化能力薄弱，難以應對略微變動的問題。

記憶化（memorization）這一現象在LLMs中表現得尤為明顯。當模型面對訓練中見過的類似問題時，往往能給出高準確率的答案；然而當問題稍作變化，例如文本結構發生改變、句子用詞被替換，甚至輸入代碼邏輯被調整，模型的表現便會顯著下降。這種差異揭示出模型在訓練后階段傾向于直接復述“記住”的信息，而非基于對問題邏輯的深層推理解決任務。這種現象不僅限制了模型在實際場景中的靈活性，也暴露出現有評估方法的短板。

研究團隊敏銳地意識到這一點，并提出了一個關鍵的問題：如何科學地設計評估機制，區分模型的“記憶”與“真正理解”？換言之，當模型生成代碼時，如何判斷其是通過深刻的邏輯推理得出解答，還是單純地重現了訓練集中學到的模式？

為了解決這一問題，團隊創新性地提出了“進化問題”（Evolved Questions）的概念。這種方法通過構建問題的變體，模擬實際中用戶對代碼需求的多樣性與復雜性。在這項研究中，進化問題通過三種策略實現：突變（mutation）、改寫（paraphrasing）和代碼重寫（code-rewriting）。突變在文本表面引入輕微的噪聲，例如字符錯亂或隨機大小寫；改寫改變句子的措辭和語法，但保持語義一致；而代碼重寫則更進一步，通過調整邏輯或結構生成全新解答。這些變體不僅有效測試了模型的記憶化傾向，也為評估其真正的推理能力提供了全新視角。

通過進化問題，研究團隊不僅揭示了現有模型在代碼生成任務中對記憶的依賴，更引導我們重新思考什么樣的能力構成了“智能”。模型在變體問題上的表現不再僅僅是技術指標的體現，更是理解和泛化能力的重要衡量。這一方法開創了新評估思路，也為未來的模型開發指明了方向。它讓我們意識到，真正的智能并不僅僅在于“能答”，而更在于面對變化時的“會答”。

方法學：多層次進化框架

探索大語言模型（LLMs）是否真正理解問題、亦或只是機械地“復述”，需要設計出能夠剖析模型能力的創新性方法。研究團隊提出了一個精妙的“多層次進化框架”，從不同維度將測試任務轉變為模型難以僅靠記憶解決的挑戰。這一框架的核心在于創造進化問題，通過模擬可能遇到的文本變化，檢驗模型在文本、語義和代碼層面的泛化能力。

圖1：文本、語義和代碼空間中多級演化方法的工作流程。這些空間內具有相同顏色的框共享相同的規范解決方案。變異（mut）、釋義（par）和代碼重寫（rew）分別在文本空間、語義空間和代碼空間中增加了噪聲。最后，它們將被映射回文本空間，作為進化的問題xmut、xpar、xrew。添加噪聲和映射的進化過程都是由專業模型G（GPT-4o）進行的，如灰色機器人所示。我們將這個框架稱為多層次進化。

多層次進化框架的設計建立在對自然語言到代碼生成過程的系統化理解之上。具體來說，問題描述被映射為語義表示，隨后通過專業模型推理生成代碼解決方案。嵌入層 E將輸入問題 x映射為語義空間中的表示 y=E(x)y = E(x)，專業模型 G則基于語義表示生成最終代碼 z=G(y)z = G(y)。整個流程可視為從文本空間 T到代碼空間 C 的轉換：

在此框架下，為了測試模型能力，研究者從文本、語義、代碼三個層面引入不同形式的“噪聲”，構建變體問題。這些噪聲不僅改變了問題的表述形式，還創造了多種多樣的評估角度。

圖2：問題翻譯過程的示意圖。每個空間內相同顏色的內框共享相同的規范解。我們首先要求目標模型M（藍色機器人）基于x（Gen1）生成代碼響應zresp，然后使用專業模型G（灰色機器人）將其翻譯回新的代碼xtrans（Trans）；最后，我們要求tar模型G找出它們的差異并生成最終響應zaug。

首先是“突變進化”（Mutation Evolution）。這一方法在問題的文本層面進行微調，比如通過詞語的重新排列、大小寫的隨機變化等操作，加入了表層噪聲。盡管文本的表述顯得凌亂，但其核心語義依然保持不變。這種變體旨在測試模型對表層記憶的依賴程度。一個典型案例是原問題“編寫一個函數計算矩形面積”被改為“wrITE a fUnCTIon T0 fnid teh area oF A R3cT4nglE”。原意未變，但表述更加“混亂”，如果模型僅基于記憶生成答案，很可能會出錯。

接下來是“改寫進化”（Paraphrasing Evolution）。相比于突變進化，這種方法進一步挑戰模型的理解能力。改寫進化通過改變句式和措辭，使問題在語義空間內發生輕微擾動，而語義本質上仍然相同。例如“寫一個函數計算矩形的面積”可能被改寫為“創建一個函數以計算矩形面積”。在這種情況下，模型是否能夠在不同表達方式下仍然正確生成代碼，成為評估其泛化能力的關鍵。

最后是“代碼重寫進化”（Code-Rewriting Evolution），這是最具挑戰性的一種方法。在這一層次，研究者改變了問題所對應代碼的邏輯和結構，生成全新的地面真值。以矩形面積計算為例，新的問題可能要求根據矩形周長和一條邊計算面積，而不是原本的兩邊長。這種問題引入了更多的邏輯復雜度，測試模型在邏輯變換下的適應性。

為了科學量化模型的記憶化傾向，研究者提出了一種“記憶化評分”方法。這一評分不僅結合了變體任務與原始任務之間的準確率差異，還分析了代碼結構相似性（通過抽象語法樹，AST）。具體來說，記憶化分數由以下組成：首先，通過模型在原始問題與突變、改寫、代碼重寫問題中的準確率差值，評估模型是否對訓練數據依賴過重。其次，考察生成代碼與原始訓練解答的AST相似性，揭示模型對結構性記憶的偏好。高分數表明模型過度依賴記憶，泛化能力較弱。

這種記憶化評分為研究提供了定量支持，而多層次進化框架則為評估模型能力帶來了全面和深刻的視角。不再僅僅考察“能否解決問題”，而是深入探討“如何解決問題”，真正推動了對LLM代碼生成能力的理解和改進。

緩解記憶化的策略與實驗設計

要解決大語言模型（LLMs）在代碼生成任務中的記憶化問題，研究團隊探索了幾種緩解策略，并設計了周密的實驗進行評估。這些方法不僅嘗試降低模型對訓練數據的依賴，還旨在增強其對變體問題的泛化能力。在理論和實踐層面，這些策略都具有很大的啟發意義。

首先，從監督微調（Supervised Fine-Tuning）出發，研究者提出了一種利用數據集組合的方法。這里的數據集分為“代碼重寫數據集”和“半原始數據集”。在前者中，模型完全基于變體問題訓練，而后者則是在保留一部分原始問題的基礎上添加代碼重寫問題。這種訓練策略的設計意圖在于平衡模型對原始數據集和變體任務的適應能力。然而，盡管監督微調能夠提升模型在原始任務上的表現，但卻未能有效緩解記憶化問題。實驗表明，模型往往仍傾向于記憶原始問題解答，且在應對代碼重寫任務時表現出顯著下降。

相比之下，強化學習（Reinforcement Learning）提供了一種更為直接的優化方式。在實驗中，研究者采用了直接偏好優化（DPO）這一技術。DPO通過定義“贏家”和“輸家”的標簽來引導模型決策，其中代碼重寫數據集的解答被標記為“贏家”，原始數據集的解答則為“輸家”。這種方式避免了記憶化傾向，但也伴隨著原始數據集性能的顯著下降。研究團隊指出，這可能是因為DPO過于偏向代碼重寫問題，而忽視了原始問題的整體重要性。

另一項創新策略是問題翻譯（Problem Translation）。這一策略通過逆向映射的方式，讓模型以不同的視角看待原始問題。在實踐中，研究者首先讓模型生成原始問題的解答，然后利用專業模型將這一解答翻譯成新的問題描述，最后結合原始問題與翻譯后問題的差異生成最終解答。這種方法的核心思想在于幫助模型理解語義空間與代碼邏輯之間的偏差。然而，問題翻譯并非完美——專業模型的翻譯可能存在誤差，而錯誤的差異可能會進一步增加問題的復雜性甚至誤導目標模型。

為了驗證這些策略的有效性，研究團隊選擇了MBPP-Plus數據集作為實驗的基礎。這一數據集是原始MBPP數據集的擴展版本，不僅包含378個高質量編程任務，還顯著增加了測試用例的數量，使得評估更具魯棒性。在此基礎上，研究者構建了突變、改寫和代碼重寫三種進化數據集。例如，突變數據集通過引入文本表面噪聲模擬真實場景下的輸入變化；改寫數據集則通過改變語句的措辭與結構實現語義擾動；代碼重寫數據集更是直接改變代碼邏輯以測試模型對復雜問題的適應能力。

圖3:Qwen2.5-Coder-7B在訓練數據集上微調時的損耗曲線。我們可以發現，評估損失在歷元20（紅線）開始顯著增加，這表示LLM開始在訓練數據集上過度擬合。記憶可分為早期（紅線前）和晚期（紅線后）記憶。考慮到后期記憶和過擬合之間的相似效應，我們探索了過擬合之前的早期記憶。

實驗過程中，研究團隊采用了Qwen2.5系列和Llama系列作為研究對象，其中包括Qwen2.5-Coder-7B和Llama-3.1-8B等模型。這些模型在八塊NVIDIA A100 GPU上運行，分別在突變、改寫和代碼重寫數據集上進行性能對比分析。此外，為了保證生成任務的多樣性和穩定性，研究團隊巧妙地調整了模型的超參數：在數據生成時提升溫度以增強創造力，而在推理階段降低溫度確保確定性。

實驗結果與討論

實驗展開對大語言模型（LLMs）在原始問題與變體問題上的表現進行了全面分析，揭示了模型在記憶與泛化之間的權衡。研究團隊巧妙地通過量化準確率與抽象語法樹（AST）相似性變化，深入剖析了記憶化現象的動態演化，并檢驗了多種緩解策略的有效性。

在性能對比分析中，團隊選擇了Qwen2.5-Coder-7B和Llama-3.1-8B-Instruct作為研究對象。這些模型在原始問題上的表現毫無懸念地較為出色，例如準確率達60%到70%，部分甚至更高。然而，當面對突變、改寫和代碼重寫等變體問題時，其表現開始顯著下降。這一現象尤為明顯，尤其在代碼重寫任務上，一些模型的準確率僅保持在40%左右。這種劇烈的波動表明，盡管LLMs在訓練數據集中的問題表現優異，但對于稍作調整的任務卻難以適應，過于依賴對訓練數據的記憶而非邏輯推理。

另一個值得深究的指標是AST相似性，這一技術從代碼結構的角度觀察模型生成解答與標準答案的接近程度。實驗顯示，在重寫數據集中，模型生成的代碼更傾向于重復原始任務中的模式，而不是體現對重寫任務邏輯的深刻理解。此外，記憶化分數的引入進一步揭示了模型對訓練數據的依賴程度。該分數綜合了準確率差異和AST結構相似性，對模型的記憶化傾向進行量化。實驗發現，記憶化分數在微調過程中會逐步上升，尤其在過擬合的后期階段表現顯著，說明模型逐漸遺忘了變體問題的泛化能力。

這一現象的動態演變在微調過程中尤為引人注目。早期記憶化的表現相對溫和，主要體現在模型在原始問題上逐漸穩定的高性能上。然而，隨著訓練的深入，尤其在過擬合之后，模型的記憶化分數開始顯著增加。這表明模型逐步“沉迷”于訓練數據中的特定模式，而忽略了變體問題的邏輯差異。特別是對于突變和改寫問題，盡管這些任務的標準解答與原始問題一致，模型表現仍難以達到期望，進一步凸顯其對語義擾動和表面噪聲的不敏感。

針對上述挑戰，研究團隊評估了多種緩解策略。其中，強化學習的直接偏好優化（DPO）方法在降低記憶化分數方面效果顯著，但其代價是原始問題性能的下降。這種權衡也體現在問題翻譯方法上。問題翻譯通過逆向映射生成新問題，有效降低了記憶化分數，但與此同時，它對訓練數據的再現能力也有所削弱。兩種方法均在代碼重寫任務中展示了更高的準確率，但它們在保持原始任務性能方面仍然存在局限性。

此外，監督微調的方法在緩解記憶化方面的表現不盡如人意。盡管微調能夠提升原始數據的性能，但卻加劇了記憶化問題。尤其是在使用“半原始數據集”時，模型更傾向于記憶而非推理，記憶化分數反而更高。這說明，單純增加變體問題的訓練權重并不能從根本上解決泛化問題。

實驗結果描繪了一幅復雜的圖景：模型的記憶化是一個動態過程，隨著訓練的深入逐步增強，但其泛化能力卻在微調中受到侵蝕。盡管強化學習和問題翻譯方法在一定程度上緩解了這一現象，但它們未能完全解決性能權衡的難題。這些發現不僅為未來設計更具魯棒性的大語言模型提供了重要參考，也為平衡記憶與概括能力的技術探索指明了方向。模型是否能夠真正脫離“記憶牢籠”，邁向更高水平的邏輯推理與理解能力，仍是值得繼續挖掘的重大課題。

案例研究

在實驗的分析中，研究團隊特別關注了一個直觀但深刻的案例——矩形面積計算問題，用以揭示不同進化方式下大語言模型的表現差異。這一案例不僅清晰地展示了模型在處理簡單與變體任務時的邏輯機制，還揭示了其對問題邏輯的潛在誤解。

案例研究從一個經典的編程問題展開，即“編寫一個函數計算矩形的面積”。這一原始問題簡單明了，只需通過輸入矩形的兩個邊長計算面積即可。然而，在進化框架中，研究團隊對該問題進行了不同層次的變體處理。比如，通過“突變進化”，原始問題被改寫為“wrITE a fUnCTIon T0 fnid teh area oF A R3cT4nglE”，這種文本噪聲測試了模型是否會受困于表面表述的擾動；而通過“改寫進化”，問題被重新表述為“創建一個函數來計算矩形面積”，以考察模型對語義變化的適應性。最具挑戰性的是“代碼重寫進化”，要求模型通過周長和一條邊的長度計算矩形面積，而不是直接給出兩邊長。這種邏輯上的改變旨在評估模型是否能夠真正推理新的解法。

圖4：一個原始數據集和三個進化數據集上的規范解決方案。左藍框是原始數據集、變異數據集和釋義數據集的解決方案，右黃框是代碼重寫數據集的方案。紅色箭頭代表代碼重寫進化。

當實驗開始后，結果耐人尋味。在原始問題和突變問題上，模型均表現出色，生成的代碼幾乎完全相同，這表明這些任務對于模型來說并未超出其記憶能力范圍。在應對代碼重寫問題時，大部分模型犯了一個核心錯誤：錯誤地假設“周長減去兩倍邊長”的結果直接是另一個邊長，而忽略了正確答案應為上述結果的一半。這一錯誤反映出模型在面對邏輯變更時存在理解障礙，暴露了記憶化對任務解決的深遠影響。即使是通過監督微調訓練的模型，其解答也未能避免這一誤區，甚至有些回答直接進行了邏輯錯誤的面積乘積，顯得毫無意義。

圖5：代碼重寫問題的響應。紅色框代表錯誤的響應，綠色框代表正確的響應。左上框是基線模型和帶有原始數據集的監督微調模型的響應，而右上框是緩解過程中帶有代碼重寫和半數據集的有監督微調模型。底部框是翻譯和DPO模型的響應。

除了案例研究之外，他們還詳細記錄了數據集及實驗的構建過程。MBPP-Plus數據集被選為實驗的基礎，這一數據集基于原始的MBPP任務擴展而來，囊括了378個經過精挑細選的編程任務。相比原數據集，MBPP-Plus在每個任務上增加了大量測試用例，顯著提升了評估的可靠性。在此基礎上，研究團隊進一步構建了突變、改寫和代碼重寫三種進化數據集。突變數據集通過控制文本噪聲實現，具體方法包括字符重排、大小寫隨機化等；改寫數據集則通過改變任務描述的措辭和語法，實現了在語義空間中的微擾動；代碼重寫數據集更復雜，需要GPT-4o重新生成具有全新邏輯結構的解答，再生成對應的新問題描述。

實驗的技術環境也值得一提。研究團隊采用了Qwen2.5系列和Llama系列的模型，大小分別為7B和8B。這些模型在八塊NVIDIA A100 GPU上運行，生成任務時溫度參數設置為1，以增強數據集的多樣性；而在推理階段，溫度被調至0，確保生成結果的確定性。這種精細的參數設置保障了實驗結果的科學性和穩定性。

貢獻與研究意義

隨著大語言模型（LLMs）在代碼生成領域中的應用逐漸普及，我們不禁要問：它們的“聰明才智”是源于真正的理解，還是對訓練數據的機械記憶？研究團隊帶著這個核心問題，不僅揭開了模型性能背后鮮為人知的“記憶化”現象，還通過創新性的方法提供了解決這一難題的全新思路。

這項研究的最大貢獻在于建立了一套多層次進化框架，它為LLM的代碼生成能力提供了全新的評估視角。與傳統的評估方法不同，這一框架通過引入突變、改寫和代碼重寫三種變體問題，不僅測試了模型對任務的理解深度，也揭示了它們對訓練數據的過度依賴。突變問題的表面文本噪聲挑戰了模型是否能跳脫表層記憶，改寫問題的語義調整檢驗了模型對不同表達方式的適應，而代碼重寫問題則直接將問題邏輯推向復雜化，逼迫模型展示真正的推理能力。這種分層測試手段首次系統地量化了模型在“記憶”與“泛化”之間的差異。

另一個重要突破是研究團隊提出的記憶化評分指標。傳統的評估往往只關注模型的準確率，而這一新指標則通過結合準確性和抽象語法樹（AST）的相似性來全面量化模型的記憶化傾向。通過測量模型在原始任務與變體任務中的表現差異，這一評分揭示了模型在微調和使用過程中的潛在“記憶牢籠”。它為開發者提供了衡量模型理解能力的重要工具，也為未來優化算法的方向提供了科學依據。

實驗驗證部分更是為這些理論貢獻注入了實證力量。團隊的分析表明，專注代碼生成的LLMs，如Qwen2.5-Coder-7B，確實表現出對記憶的強烈依賴——在原始數據集上的優異成績顯然掩蓋了它們在變體任務上的不足。尤其是在面對需要邏輯轉換的代碼重寫任務時，模型的表現顯得力不從心。這一發現不僅揭示了當前技術的局限，也讓人更加清晰地認識到推動模型從“復述”到“理解”的重要性。

從更廣的視角來看，這項研究對代碼生成領域的啟示深遠。數據集的設計與評測方法的創新意義不可忽視，通過構建進化問題，研究團隊為未來的模型評估制定了新的標桿，指出了僅依賴簡單準確率評估的不足。研究讓我們更深刻地理解了提升模型泛化能力與邏輯理解的重要性。無論是應對多樣化的用戶需求，還是解決更復雜的編程任務，一個真正強大的模型需要擺脫對訓練數據的依賴，培養出面對新問題的“直覺”與邏輯分析能力。

這項工作的貢獻不僅在于發現問題、解釋現象，更在于為解決這些問題提出了實用性的工具和方法。它就像一面鏡子，照出了現有模型的優劣，同時也是一盞燈，指明了未來技術發展的方向。若要讓LLMs從優秀變得更卓越，這項研究無疑是邁向這一目標的重要一步。（END）

參考資料：https://arxiv.org/abs/2503.02296

本文轉載自??獨角噬元獸??，作者： FlerkenS ????