LLM如何才能有助于調試代碼？
譯者 | 布加迪
審校 | 重樓
大語言模型（LLM）正在改變軟件開發生命周期，其在代碼理解、代碼生成、調試等方面發揮著功效。本文深入探討如何利用LLM調試代碼庫，詳述了其核心功能、用于訓練的方法以及應用未來進一步發展的方向。盡管LLM存在幻覺等一些問題，但事實證明，通過復雜的智能體調試框架將LLM集成到開發環境中可以提高開發人員的效率。
引言
LLM在編碼領域不斷演變的角色
LLM已證明不僅可以應用于自然語言處理領域，在各種與代碼相關的任務（包括代碼生成和翻譯）中也取得了卓越的性能。它們為GitHub Copilot和Cursor等AI編碼助手提供支持，并在HumanEval和MBPP等標準基準測試中展現出媲美人類的性能。
LLM可以根據文本描述生成完整的代碼片段、完成函數并提供實時語法建議，從而簡化代碼創建的初始階段。然而，其應用顯然可以擴大到軟件開發生命周期中更復雜、更迭代的過程。
代碼調試的重要性
調試是軟件開發中一個耗時卻又至關重要的部分，涉及錯誤識別、定位和修復。這些錯誤涵蓋從簡單的語法錯誤到復雜的邏輯缺陷等各類錯誤。傳統的調試方法通常具有挑戰性，尤其是對于初級程序員來說，他們可能難以應對晦澀難懂的編譯器消息和復雜的代碼庫。調試過程的效率直接影響開發進度和軟件質量，因此需要更先進、更直觀的工具。
LLM的核心功能
代碼理解與分析
除了針對海量代碼語料庫進行廣泛的預訓練以理解自然語言外，LLM 還專門使用大型編碼數據庫進行訓練，以識別常見的編程模式并推斷代碼段的預期含義。這項基礎功能使它們能夠分析代碼中的語法錯誤和邏輯不一致之處。
錯誤定位與識別
LLM在調試中的一項主要應用是能夠協助識別和定位錯誤。基于LLM的調試迎來了最新進展，不僅限于行級錯誤識別。較新的方法可以更精細地預測錯誤位置，其精細度從行級延伸到token級。我們可以采用各種技術來識別錯誤并修復錯誤。這可以通過利用CodeT5等編碼器LLM來實現，它們可以更精確地定位有問題的代碼段。
代碼修復
最近，LLM智能體還可以直接提出代碼修改建議。它們可以采用迭代過程來改進和修復源代碼。
人們對自我修復技術的興趣也日益濃厚：LLM運行其生成的代碼，觀察結果，然后根據錯誤原因進行調整。這整個過程有助于提高最終代碼的可靠性和質量。這種自我修正機制模仿了人工調試的某些方面，即開發人員測試、觀察錯誤，然后修改代碼。
比如說，開發人員可能會這樣提示LLM修復錯誤：
Python
# User Prompt:
# "The following Python function should calculate the factorial of a number,
# but it's returning an incorrect result for inputs greater than 0.
# Can you identify the bug and fix it?"
def factorial(n):
if n == 0:
return 1
else:
return n * factorial(n) # Bug is here - infinite recursion!
# --- LLM's Suggested Fix ---
def factorial(n):
if n == 0:
return 1
else:
return n * factorial(n - 1)針對代碼庫和問答論壇的檢索增強生成（RAG）
LLM可以對內部代碼庫和問答論壇（內部和外部）執行高效的檢索增強生成（RAG），并提供相關且簡潔的摘要，這對調試過程大有幫助。這需要理解本地更改的構建或運行時錯誤、設計和訪問模式方面的問題，或即時執行RAG以了解并提供概述和相關提示。LLM可以將其與對代碼庫的理解相結合，從而為進一步調試和可能的修復提供提示。
這預示著未來調試技術的進步將不僅依賴更出色的面向代碼的模型，還依賴將自然語言理解與代碼推理相結合的創新方法，使LLM能夠以一種更概念化、更類似人的方式解釋和解決編碼問題。
用于調試的測試用例生成
LLM可以通過強大的測試用例生成功能為高效的調試機制提供支持。它們可以創建具有多樣化測試輸入的單元測試用例，這對于有效檢測錯誤至關重要。一些AI編程工具體現了這種能力，允許開發人員通過提供自然語言提示來生成結構良好的測試用例。
Python
// User Prompt:
// "Generate a JUnit test case for the following 'Calculator.add' method.
// Include a test for positive numbers, negative numbers, and zero."
class Calculator:
def add(self, a, b):
return a + b
// LLM-Generated Test Case:
import unittest
class TestCalculator(unittest.TestCase):
def test_add_positive_numbers(self):
calculator = Calculator()
self.assertEqual(5, calculator.add(2, 3), "Adding two positive numbers")
def test_add_negative_numbers(self):
calculator = Calculator()
self.assertEqual(-5, calculator.add(-2, -3), "Adding two negative numbers")
def test_add_with_zero(self):
calculator = Calculator()
self.assertEqual(2, calculator.add(2, 0), "Adding a number to zero")
if __name__ == '__main__':
unittest.main()構建調試能力的方法
數據完善和監督式微調
使用所需語言的高質量調試數據集進行領域特定訓練，對于增強LLM，使其能夠有效調試并實現最佳性能是一個非常重要的環節。
監督式微調（SFT） 需要在公共和內部代碼庫上運行，以了解設計、構建和測試模式。研究表明，與較小的模型（比如70億參數的模型）相比，較大的LLM、尤其是參數超過700億的模型表現出非凡的調試能力和卓越的錯誤修復準確性。
自然語言作為中間表示（NL-DEBUGGING）
NL-DEBUGGING框架通過引入自然語言作為代碼調試的中間表示，儼然是一大進步。這種方法將代碼轉換成自然語言理解，便于更深層次的語義推理并指導調試過程。這使得LLM能夠提出多種調試策略和解決方案。常用的自然語言表示包括草圖、偽代碼和關鍵思維點。
高級提示工程策略
提示設計是有效調整LLM以執行錯誤修復任務的關鍵因素。提供全面的上下文（比如原始源代碼）可以顯著提高LLM生成的錯誤解釋的質量和準確性。
可以采用各種提示工程策略來優化性能，包括一次性提示、為LLM分配特定角色（比如指示其“像一位非常資深的Python開發人員一樣行事”）以及將復雜任務分解成更小、更易于管理的子任務。進行負面提示也可能有效，明確表述期望輸出不應包含的內容。
多 LLM 和智能體調試流程
為了克服單一LLM的固有局限性，并超越通常無法應對復雜調試場景的簡單的“提示輸入，代碼輸出”模型，研究人員正在開發多LLM和智能體調試框架。不同的LLM有不同的角色，比如“代碼學習者”和“代碼教師”，它們集成編譯器反饋，以提高錯誤識別和修復的準確性。
比如說，使用Claude進行代碼檢索，使用GPT-4進行深度分析。此外，當LLM旨在校正或調試自身輸出時，可以采用迭代式改進。
局限與挑戰
淺層代碼理解和語義敏感性
當今大語言模型在調試方面的一個關鍵局限性是，它們通常缺乏對代碼實際工作方式的深入理解。其理解能力嚴重依賴詞匯和句法特征，而非對程序邏輯的語義理解。
研究表明，進行一些細小的非語義更改（比如刪除死代碼、更新注釋/變量命名等）時，LLM可能會失去在相當一部分（比如78%）的錯誤程序中調試相同錯誤的能力。LLM還可能難以丟棄不相關的信息，將死代碼視為對程序的語義有積極貢獻的代碼，這可能導致在錯誤定位過程中出現誤診斷。
復雜和邏輯錯誤方面的性能
雖然LLM大有前景，但整體調試性能仍然不如人類。分析表明，某些類別的錯誤對于LLM來說仍然極具挑戰性——具體來說，與更簡單的語法和引用錯誤相比，邏輯錯誤和涉及多個相互關聯問題的錯誤對于LLM理解/調試起來要困難得多。
上下文窗口約束和可擴展性問題
現代軟件存儲庫通常很龐大，涵蓋成千上萬個token。在這樣的環境中進行有效的調試需要LLM全面處理和理解整個代碼庫。盡管最近的技術進步使得傳遞大型上下文成為可能，但LLM仍難以在極端上下文規模下保持可靠的性能。據觀察，隨著上下文長度的增加，性能會下降，這限制了它們完全理解和調試大型多文件項目的能力。
幻覺和輸出不一致的問題
LLM的一個關鍵漏洞是很容易產生“幻覺”——聽起來似乎合理但實際上不正確或完全捏造的內容。這通常意味著開發人員需要反復檢查，有時甚至需要花另外的時間去調試AI建議的代碼或修復方案。幻覺可能源于多個途徑，包括編寫不當的提示、饋送給模型的上下文信息不清晰，或使用過時的模型版本。
測試覆蓋問題
雖然開發人員可以生成可執行且多樣化的測試用例，但他們常常難以掌握測試中更具戰略性和邏輯性的方面：識別需要覆蓋哪些特定的語句、分支或執行路徑。這種限制對于調試至關重要，因為有效的調試通常依賴精心設計的測試用例，這些測試用例可以隔離并暴露特定的問題代碼路徑。
“調試衰減”現象
研究表明，AI調試的有效性遵循指數衰減模式。經過幾次迭代后，LLM發現錯誤的能力會顯著下降（下降60%-80%），這使得連續的、無指導的迭代計算開銷大、效率低。這表明，需要人工干預來重置和指導調試過程，而不是依賴長時間的獨立AI迭代。
結論
LLM 將通過提高效率和開發人員生產力來徹底改變代碼調試。它們能夠理解代碼、定位錯誤、提出修復建議并生成測試用例，這標志著相對傳統方法有了重大進步。
未來在于這樣一種協作模式：AI協助人類開發人員，增強他們的技能，而不是取代他們。通過持續學習、戰略整合以及關注人機合作，LLM將成為軟件開發生命周期中不可或缺的工具，有望將調試轉變成更主動、更智能的過程。
原文標題：??LLMs for Debugging Code??，作者：Surya Teja Appini
