SFT的text2sql方法

SFT使模型能夠遵循輸入指令并根據預定義模板進行思考和響應。如上圖是用于通知模型在推理過程中響應角色的角色標簽。后面的內容表示模型需要遵循的指令，而后面的內容傳達了當前用戶對模型的需求。后面的內容代表模型的預期輸出，也可以定義為模型預測的標簽。在監督微調期間，模型根據和中的內容預測后面的內容，然后將其與標簽進行比較以計算損失函數。標記作為結束標記，以防止模型在后續推理階段偏離思路，從而減少推理時間。通過定義監督微調模板，模型可以在推理時根據模板喚起微調知識，用戶可以從預先建立的響應模板中提取答案。

text2sql一些研究涵蓋兩個基本任務：schema_linking和SQL生成。

• Schema Linking: 主要目的是識別和提取與問題相關的表，并通過分步推理和鏈式思維方法在有限內存下處理大規模數據庫。
• SQL 生成: 主要目的是根據模式鏈接任務的結果生成準確的SQL查詢語句，同時通過減少輸入表的數量來降低內存消耗。

方法

LR-SQL方法框架

提出了LR-SQL方法，解決低資源場景下的Text2SQL任務，具體如下：

1.schema_link模型：首先，LR-SQL方法包含兩個監督微調模型：schema_link模型和SQL生成模型。schema_link模型的主要作用是簡化整個流程，通過將完整的數據庫分解為靈活的表組合，使模型能夠從這些分散的切片中學習數據庫內關系。

2.數據分解：在schema_link模型的微調過程中，LR-SQL將數據庫分解為多個切片，每個切片具有可調節的表數量。這種方法允許模型根據GPU內存限制靈活地覆蓋不同數量的表。

LR-SQL的監督模板構建

圖片

將數據庫中的表分解成多個片段，每個片段包含一定數量的表和其列的描述。

3.思維鏈：為了增強模型在推理過程中感知各個離散切片之間關系的能力，LR-SQL訓練了模型的鏈式思維能力。COT能力使模型能夠逐步引導自己生成最終結果。

LR-SQL訓練

4.SQL生成模型：在schema_link模型微調完成后，預測的目標表和問題被發送到SQL生成模型以生成最終的SQL查詢。該模型僅使用包含目標表的少量表進行微調，從而顯著減少了所需的內存。

在推理階段，與訓練相比，模型處理長文本所需的內存需求大幅減少。

實驗

schema_link模型評估：LR-SQL方法在兩個數據集上的總準確率分別為91.38和94.38，過濾準確率分別為94.26和97.19，平均精度分別為95.50和96.91，平均召回率分別為95.76和97.85。與現有方法相比，LR-SQL在保持較高準確率的同時，顯著減少了GPU內存使用。切片大小對性能的影響：實驗還探討了不同切片大小對模型性能和GPU內存使用的影響。結果表明，當切片大小適中時，模型的性能最佳。

參考文獻

• LR-SQL: A Supervised Fine-Tuning Method for Text2SQL Tasks under Low-Resource Scenarios，https://arxiv.org/pdf/2410.11457