目前高速發展的互聯網時代中，各種類型的數據不斷涌現，其中，我們較為常用的就有表格數據，表格作為一種通用的結構化數據，我們可以根據需求設計 SQL 查詢語句來獲得表格中的知識，但是往往需要較高的設計成本以及學習成本。此時，Text-to-SQL 解析任務顯得格外重要，而根據對話場景的不同，還分為單輪 Text-to-SQL 解析和多輪 Text-to-SQL 解析，本文主要研究更加困難且更接近現實應用的多輪 Text-to-SQL 解析任務。

近期，阿里巴巴達摩院聯合中國科學院深圳先進技術研究院提出面向多輪 Text-to-SQL 語義解析的 SQL 查詢語句導向型預訓練模型 STAR。截至目前，STAR 已連續 10 個月占據 SParC 和 CoSQL 兩大榜單的第一名。研究論文已被自然語言處理領域國際會議 EMNLP 2022 Findings 接收。

• 論文地址：https://arxiv.org/abs/2210.11888
• 代碼地址：?https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/star?

STAR 是一種新穎且有效的多輪對話表格知識預訓練語言模型，該模型主要通過兩個預訓練目標對多輪對話中的復雜上下文語義追蹤和數據庫模式狀態追蹤進行建模，目的是增強自然語言查詢和數據庫模式在對話流中的編碼表示。

該研究在對話式語義解析的權威榜單 SParC 和 CoSQL 上進行了評估，在公平的下游模型對比下，STAR 相比之前最好的多輪表格預訓練模型 SCoRe，在 SParC 數據集上 QM/IM 提升了 4.6%/3.3%，在 CoSQL 數據集上 QM/IM 顯著提升 7.4%/8.5%。特別地，CoSQL 相比 SParC 數據集，擁有更多的上下文變化，這驗證了該研究提出的預訓練任務的有效性。

背景介紹

為了使得用戶在不熟悉 SQL 語法的情況下也能夠通過自然語言對話與數據庫進行交互，多輪 Text-to-SQL 解析任務應運而生，該任務作為用戶與數據庫之間的橋梁，將交互內的自然語言問題轉換為可執行的 SQL 查詢語句。

預訓練模型最近幾年在 NLP 的各種任務上大放異彩，但由于表格和自然語言之間內在的差異性，普通的預訓練語言模型（例如 BERT，RoBERTa) 在該任務上無法達到最優的性能，所以預訓練表格模型（TaLM）[1-5] 應運而生。通常，預訓練表格模型（TaLM）需要處理兩個核心問題，包括如何建模上下文查詢之間的復雜依賴（指代、意圖偏移）及如何有效利用歷史生成的 SQL 結果。針對上述兩個核心問題，現有的預訓練表格模型存在以下缺陷：

圖 1. 一個上下文依賴的多輪 Text-to-SQL 解析例子。

第一，現有的表格預訓練模型僅僅探索了自然語言查詢的上下文信息，而不考慮歷史 SQL 查詢語句中所蘊含的交互狀態信息，這種信息往往能以一種更加準確而緊湊的形式概括用戶的意圖。因此，對歷史 SQL 信息進行建模和追蹤能夠更好地捕獲當前輪查詢的意圖，從而更加準確地生成對應的 SQL 查詢語句。如圖 1 所示，由于第一輪 SQL 查詢中提到了表名 “Compuses”，在第二輪 SQL 查詢中很大可能會再次選擇該表，因此對表名 “Compuses” 的狀態進行追蹤顯得格外重要。

第二，由于用戶可能忽略對話歷史中提及的實體或者引入一些指代，導致當前輪對話信息缺失，因此多輪 Text-to-SQL 解析任務需要有效地建模上下文信息以便更好地解析當前輪自然語言對話。如圖 1 所示，第二輪對話省了第一輪對話中提到的 “campuses in year 2000”。然而大部分已有預訓練表格模型并沒有考慮上下文信息，而是對每輪自然語言對話單獨進行建模。盡管 SCoRe [1] 通過預測相鄰兩輪對話之間的上下文切換標簽來建模上下文切換信息，但是忽略了更復雜的上下文信息，并且不能追蹤遠距離對話之間的依存信息。例如，圖 1 中，由于第二輪對話和第三輪對話發生了上下文切換，而 SCoRe 并不能捕獲第一輪對話和第四輪對話之間長距離依賴信息。

受到多輪對話中對話狀態追蹤任務的啟發，該研究提出了一種基于模式狀態追蹤預訓練目標來隊上下文 SQL 的模式狀態進行追蹤；針對多輪對話中問題間復雜語義依賴問題，該研究提出了對話依賴追蹤方法，捕捉多輪對話之間的復雜語義依存關系，并提出基于權重的對比學習方法來更好地建模對話之間的正例和負例關系。

問題定義

該研究首先給出多輪 Text-to-SQL 解析任務涉及的符號和問題定義。表示 T 輪自然語言查詢，查詢的多輪 Text-to-SQL 對話交互，其中表示第 i 輪自然語言問題，每輪自然語言對話包含個 tokens。此外，還有一個與交互的數據庫 s，其中包含了 N 個表格，并且所有表格包含 m 個表名和列名，表示數據庫模式 s 中的第 i 個表名或列名。假設當前輪為第 t 輪，Text-to-SQL 解析任務的目的是根據當前輪自然語言查詢，歷史查詢，數據庫模式 s 和上一輪預測的 SQL 查詢語句，生成當前輪自然語言查詢對應的 SQL 查詢語句。

方法描述

如圖 2 所示，該研究提出了一個基于 SQL 引導的多輪表格預訓練框架，充分利用了歷史 SQL 的結構化信息來豐富對話表示，進而對復雜的上下文信息進行更加有效地建模。

圖 2. STAR 的模型框架。

具體來說，該研究提出基于模式狀態追蹤和基于對話依賴追蹤的表格預訓練目標，分別對多輪交互中的 SQL 查詢語句和自然語言問題的意圖進行追蹤。(1) 在多輪對話情境中，當前對話的 SQL 查詢依賴于上下文的 SQL 信息，因此受到多輪對話中對話狀態追蹤任務的啟發，該研究提出了一種基于模式狀態追蹤（Schema State Tracking，SST）的表格預訓練目標，以自監督的方式跟蹤上下文相關 SQL 查詢語句的模式狀態 (或用戶請求)。(2) 對針對多輪對話中自然語言問題之間的復雜語義依賴問題，提出了基于對話依賴追蹤（Utterance Dependency Tracking，UDT）的表格預訓練目標，利用基于權重的對比學習方法更好地學習自然語言查詢的特征表示。下面詳細介紹這兩個表格預訓練目標。

基于模式狀態追蹤的表格預訓練目標

該研究提出了一種基于模式狀態追蹤的表格預訓練目標，以自監督的方式跟蹤上下文相關 SQL 查詢語句的模式狀態 (或用戶請求)，目的是預測模式槽的值。具體來說，該研究以模式狀態的形式追蹤 Text-to-SQL 會話的交互狀態，其中槽是數據庫模式（即所有表的列名），對應的槽值是 SQL 關鍵字。以圖 3 中的 SQL 查詢為例，模式槽 “[car_data]” 的值是 SQL 關鍵字 “[SELECT]”。首先，該研究將第 t - 1 輪預測的 SQL 查詢語句轉換為一組模式狀態的形式。由于模式狀態的槽是數據庫的所有表的列名，那些沒有出現在 SQL 查詢語句對應的模式狀態中的值被設置為 [NONE]。如圖 3 所示，該研究用 m 個模式狀態表示 SQL 查詢語句，其中表示第 i 個模式狀態的槽，表示該模式狀態的值。對于第 t 輪，模式狀態追蹤的目標是在給定所有歷史自然語言問題，當前問題和上一輪 SQL 查詢語句的模式狀態的情況下，預測第 t 輪的 SQL 查詢語句的每個模式狀態槽的值。也就是說，在第 t 輪，模式狀態追蹤預訓練目標的輸入為:

由于每個模式狀態包含多個單詞，因此應用注意力層來獲得的表示。具體來說，給定輸出上下文化表示 ( l 是的起始下標)。對于每個模式狀態，模式狀態的注意力感知的表示可以計算為:

進而預測當前問題的模式狀態：

最后，將模式狀態追蹤的預訓練損失函數可以被定義為：

基于對話依賴追蹤的表格預訓練目標

該研究提出了一個話語依賴跟蹤的預訓練目標，利用基于權重的對比學習方法，以捕獲每個 Text-to-SQL 話中自然語言問題之間的復雜語義依賴關系?；跈嘀氐膶Ρ葘W習中的一個關鍵挑戰是如何通過自監督的方式構建適當的正例和負例標簽，直覺上可以通過從不同的會話中選擇自然語言問題來構建負例對。然而，構建正例問題對并非易事，因為當前的問題可能與那些發生了話題轉移的歷史問題無關，如圖 1 所示的第二和第三個話語。因此，該研究將同一會話中的自然語言問題視為正例對，并且給它們分配了不同的相似度分數。SQL 是一種高度結構化的用戶話語指示，因此通過測量當前 SQL 與歷史 SQL 的相似性，可以獲得自然語言問題的語義依賴的偽標簽，以獲得不同語句建的相似度分數，從而指導上下文建模。該研究從語義和結構兩個角度出發提出了一種度量 SQL 相似性的方法。如圖 3 所示：

圖 3. 兩種計算 SQL 語句相似度的方法。

基于語義的 SQL 相似度計算  該研究通過計算兩個 SQL 查詢語句對應的模式狀態相似度來衡量它們之間的語義相似度。具體來說，如圖 3 所示，該方法會分別獲取兩個 SQL 查詢語句，的模式狀態和。然后，該研究采用 Jaccard 相似度來計算它們之間的語義相似度：

其中表示和對應模式狀態的值不是 [NONE] 的非重復模式狀態的數量。

基于結構的 SQL 相似度計算  為了利用 SQL 查詢語句的樹形結構，該研究首先將每個 SQL 查詢解析為 SQL 樹，如圖 3 所示。給定 SQL 查詢和的兩棵 SQL 樹

和，該研究利用 Weisfeiler-Lehman 算法來計算的結構相似度分數，公式如下:

總的來說，該研究定義兩個 SQL 查詢語句和的相似度分數如下:

基于權重的對比損失  在獲得 SQL 相似度后，該研究使用加權對比學習將會話中語義相似的自然語言問題的表示拉近，將語義不相似的自然語言問題的表示推遠。具體來說，首先該研究利用一個注意機制來學習輸入表示:

然后，該研究將加權對比損失函數最小化以優化整體網絡:

最后，為了學習基于上下文語境的自然語言查詢和數據庫模式表示，該研究也采用了基于掩碼語義建模的預訓練目標，損失函數表示為。基于上述的三個訓練目標，該研究定義了基于同方差的聯合損失函數：

其中，為可訓練的參數。

實驗效果

數據集  該研究在兩個對話式語義解析權威數據集 SParC 和 CoSQL 對 STAR 模型的有效性進行了驗證。其中，SParC 是一個跨領域的多輪 Text-to-SQL 解析數據集，包含了大約 4300 次多輪交互和超過 12000 條自然語言問題 - SQL 查詢語句對；CoSQL 是一個跨領域的對話式 Text-to-SQL 解析數據集，包含了大約 3000 次對話交互和超過 10000 條自然語言問題 - SQL 查詢語句對。相比于 SParC，CoSQL 的對話上下文語義相關性更高，并且 SQL 查詢語句的語法更加復雜。

基準模型  在基準模型方面，該研究比較了以下方法：（1）GAZP [6]，通過結合一個前向語義解析模型和一個后向對話生成模型合成自然語言對話 - SQL 查詢語句對的訓練數據，最后選擇具有循環一致性的數據擬合前向語義解析模型。（2）EditSQL [7]，考慮了交互歷史信息，通過編輯前時刻預測的 SQL 查詢語句來提升當前輪對話的 SQL 生成質量。（3）IGSQL [8]，提出了一個數據庫模式交互圖編碼模型，該模型使用數據庫模式的歷史信息來捕獲自然語言輸入歷史信息，并且在解碼階段引入門控機制。（4）IST-SQL [9]，受到對話狀態追蹤任務的啟發，定義了模式狀態和 SQL 狀態兩種交互狀態，并在每一輪中根據上一個預測的 SQL 查詢語句進行狀態更新。（5）R2SQL [10]，提出了一個動態圖框架，針對對話流中的對話、數據庫模式之間的復雜交互進行建模，通過一種動態記憶衰退機制豐富對話和數據庫模式的上下文表示。（6）PICARD [11]，提出一種增量式的語義解析，對語言模型的自回歸解碼模型進行約束，在每個解碼步驟中，通過約束解碼結果的可接受性來尋找合法的輸出序列。（7）DELTA [12]，首先使用一個對話重寫模型解決對話上下文的完整性問題，然后將完整的對話輸入一個單輪 Text-to-SQL 語義解析模型，得到最終 SQL 查詢語句。（8）HIE-SQL [13]，從多模態的角度出發，將自然語言和 SQL 看作兩種模態，探索所有歷史對話和上一句預測的 SQL 查詢語句之間上下文依賴信息，提出了一個雙模態預訓練模型并且設計了一個對話和 SQL 查詢語句之間的模式鏈接圖。

整體實驗結果  如圖 4 所示，從實驗結果可以看出，STAR 模型在 SParC 和 CoSQL 兩個數據集上的效果遠勝于其他對比方法。在預訓練模型對比方面，STAR 模型都遠超于其他預訓練模型（如 BERT，RoBERTa，GRAPPA，SCoRe），在 CoSQL dev 數據集上，對比 SCoRE 模型，QM 分數提升 7.4%，IM 分數提升 7.5%。在下游 Text-to-SQL 模型對比方面，以 STAR 為預訓練模型底座的 LGESQL 模型，效果遠勝于將其他預訓練語言模型當作底座的下游方法，例如目前效果最好的以 GRAPPA 為底座的 HIE-SQL 模型。

圖 4. 在 SParC 和 CoSQL 數據集上的實驗結果

消融實驗結果  本文還補充了完整的消融實驗來說明 STAR 模型中每個模塊的有效性。消融實驗結果如圖 5 所示，當去掉 SST 或者 UDT 預訓練目標時，效果會大幅下降，而結合所有預訓練目標的實驗結果在所有數據集上都達到了最好的效果，這說明了 SST 和 UDT 的有效性。另外，該研究針對 UDT 中的兩種 SQL 相似度計算方法進行了進一步的實驗，從圖 6 可以看出，兩種 SQL 相似度計算方法都能提升 STAR 模型的效果，并且結合后的效果最佳。

圖 5. 針對預訓練目標的消融實驗結果。

圖 6. 針對 SQL 相似度計算方法的消融實驗結果。

不同難度樣本的模型效果  如圖 7 所示，從 SParC 和 CoSQL 兩個數據集上的不同難度樣本的實驗結果可以看出，STAR 模型針對各種難度樣本的預測效果都遠勝于其他對比方法，即使是在難度最大的 extra hard 樣本中也效果顯著。

圖 7. 在 SParC 和 CoSQL 數據集上不同難度樣本的實驗結果。

不同輪次樣本的模型效果  如圖 8 所示，從 SParC 和 CoSQL 兩個數據集上的不同輪次樣本的實驗結果可以看出，隨著對話輪次的增加，基準模型的 QM 指標在急劇下降，而 STAR 模型即使在第三輪和第四輪也能表現出更穩定的性能。這表明 STAR 模型可以更好地追蹤和探索對話歷史中的交互狀態，以幫助模型更好地解析當前對話。

圖 8. 在 SParC 和 CoSQL 數據集上不同輪次樣本的實驗結果。

實例分析  為了評估 STAR 模型的實際效果，該研究從 CoSQL 驗證集中選擇了兩個樣本，并在圖 9 中對比了 SCoRe 模型和 STAR 模型生成的 SQL 查詢語句。從第一個例子我們可以看到 STAR 模型能夠很好地使用歷史 SQL 的模式狀態信息（例如，[car_names.Model]），從而正確生成了第三輪對話的 SQL 查詢語句，而 SCoRe 模型則無法跟蹤這種模式狀態信息。在第二個例子中，STAR 模型有效地跟蹤了第一輪和第四輪話語之間的長期對話依賴關系，并通過跟蹤和引用第二輪對話中的 “the number of” 信息，在第四輪 SQL 查詢語句中正確地生成了 SQL 關鍵字 [SELECT COUNT (*)]。然而，SCoRe 模型無法跟蹤這種長期依賴關系，并受到第三輪話語的干擾生成了錯誤的 SQL 查詢語句。

圖 9. 實例分析。

ModelScope 模型開源社區

本文在 CoSQL 數據集上訓練得到的模型，目前已集成到 ModelScope 模型開源社區。讀者可以直接在 notebook 中選擇 V100 GPU 環境，通過一個簡單 pipeline 即可使用 demo 模型用于多輪 Text-to-SQL 語義解析任務。

總結

本文中，研究團隊提出了一個新穎且有效的多輪表格知識預訓練模型（STAR 模型）。針對多輪 Text-to-SQL 語義解析任務，STAR 模型提出基于模式狀態追蹤和基于對話依賴追蹤的表格預訓練目標，分別對多輪交互中的 SQL 查詢語句和自然語言問題的意圖進行追蹤。STAR 模型在兩個權威多輪語義解析榜單很好的結果，連續 10 個月占據榜單第一名的成績。

最后，歡迎對中國科學院深圳先進技術研究院SIAT-NLP組感興趣的同學申請博后/博士/碩士/實習等職位，簡歷請發至min.yang@siat.ac.cn。