使用TAG和RAG可以簡化客戶反饋分析，從大型數據集中高效地提取見解，以增強決策并提高客戶參與度。

在當今數據驅動的環境中，企業通過評論、調查和社交媒體互動獲得了大量的客戶反饋。雖然這些信息可以產生寶貴的見解，但也提出了一個重大挑戰：如何從大量的信息中提取有意義的數據。先進的分析技術正在徹底改變人們理解客戶情緒的方法。其中最具創新性的是表格增強生成（TAG）和檢索增強生成（RAG），它們使企業能夠同時使用自然語言處理（NLP）從數千條評論中獲得復雜的見解。

本文將深入研究TAG和RAG的工作原理、它們對數據標記和Text-to-SQL生成的含義，以及它們在真實場景中的實際應用。通過提供具體的示例，說明了這些技術如何增強數據分析和促進明智的決策，從而滿足經驗豐富的數據科學家和新入行者的需求。

利用RAG獲得高級數據洞察

RAG代表了企業如何提取和解釋大量數據的革命性飛躍。通過將檢索機制與語言模型的強大功能相結合，RAG允許用戶提出自然語言問題，并從龐大的數據集（如客戶評論或產品反饋）中獲得高度相關的實時答案。

本節將分解RAG的核心組件，每個步驟都通過可視化的方式來說明該過程的工作原理。

查詢輸入和向量化

RAG過程的第一步是查詢輸入和向量化。當用戶輸入一個查詢時，例如“哪里有最好的家庭友好型酒店？”，RAG會將這個問題轉換成一種稱為向量的數字格式。這個向量表示問題的含義，并為下一步做準備：檢索相關數據。

圖1查詢輸入和向量化示意圖

圖1描述了用戶鍵入查詢以及隨后將查詢轉換為向量格式的過程。它強調了問題如何被編碼成機器可以處理的數字。

從向量數據庫中檢索場景

一旦查詢被向量化，RAG就會搜索包含數百萬條預處理信息（例如客戶評論、產品描述等）的預先存在的向量數據庫。RAG系統基于語義相似性識別與查詢最相關的數據。例如，如果有人詢問適合家庭入住的酒店，RAG會提取包含與家庭、兒童設施和家庭服務相關術語的評論。

圖2從向量數據庫中檢索場景的示意圖

該圖展示了RAG如何從龐大的向量化數據庫中檢索相關評論或數據，將看到向量化查詢如何與系統中存儲的相應相關數據點相匹配。

自然語言答案生成

在檢索完相關數據之后，RAG的最后一步是生成自然語言答案。然后，檢索到的評論通過語言模型進行傳遞，該模型將數據合成為連貫的、易于閱讀的回復。用戶的查詢采用自然語言回答，并通過檢索數據提供的豐富場景而更加具體。

圖3自然語言答案生成示意圖

圖3說明了將檢索到的數據如何轉換為可讀的自然語言響應。它演示了RAG如何從其處理的大量數據中合成有意義的答案，使非技術用戶可以訪問復雜的數據集。

理解TAG及其作用

TAG通過系統的三步過程在語言模型和數據庫之間創建結構化連接，從而增強了傳統的Text-to-SQL方法：

（1）數據相關性和查詢合成：TAG標識相關數據以處理用戶查詢，并生成與底層數據庫結構一致的優化SQL查詢。

（2）數據庫執行：對數據集執行生成的SQL查詢，有效地過濾和檢索相關的見解。

（3）自然語言答案生成：TAG將處理過的數據轉換成連貫的、場景豐富的響應，簡化了用戶解釋。

圖4 TAG系統的三步過程

數據標注的重要性

數據標記對于組織和分類信息至關重要，特別是在包含非結構化文本的數據集中。這個過程允許系統識別模式和場景，顯著提高TAG的有效性。

通過利用數據標簽系統地對大量信息進行分類，特別是來自非結構化文本源的信息，工程團隊可以分配有意義的標簽來訓練識別模式和理解場景的系統，從而改進搜索和推薦系統等功能。

例如，當用戶在搜索引擎中輸入查詢時，數據標記使系統能夠通過解釋用戶輸入背后的意圖來提供最相關的結果。同樣，在社交媒體和電子商務平臺上，標簽數據可以根據用戶偏好對內容進行分類，從而實現個性化體驗。因此，數據標簽構成了技術提供商提供更智能、更高效服務的支柱。

數據標簽的主要好處

• 提高準確性：標記數據有助于機器學習模型更好地理解用戶意圖，從而生成更精確的SQL查詢。
• 增強查詢相關性：清晰的標識符允許系統對結果進行優先級排序，從而提高相關性。
• 促進用戶理解：標簽提供場景，幫助用戶更輕松地解釋數據。

旅游評論中的數據標簽示例

• 家庭友好型：確定酒店有適合家庭的設施，例如兒童俱樂部和保姆服務。
• 寵物友好型：確定酒店可以允許客戶帶寵物，提供寵物床和寵物區等相關服務。
• 奢華：指提供優質服務和專屬設施的高端酒店。
• 物有所值：強調提供優質服務的實惠選擇。

描述性標簽使組織能夠簡化檢索過程，確保用戶及時獲得相關見解。

利用TAG與旅游評論數據

考慮一個旅游評論數據集，其中包含reviewerID、hotelID、reviewerName、reviewText、摘要和總體評分等字段。這些結構化數據構成了生成針對各種用戶需求的可操作見解的基礎。

循序漸進的過程

步驟1：數據導入和準備

這個過程首先是導入捕捉客戶情緒的數據集，包括總體評級和反饋。這個初始階段通常包括：

（1）數據清理：

• 刪除重復評論：根據reviewerID和hotelID識別和刪除重復評論，以確保唯一性。
• 糾錯：發現并糾正錯誤，例如拼寫錯誤或評分量表不一致（例如，使用1-5分與0-10分）。
• 處理缺失值：評估如有用的投票數和reviewText字段的缺失條目，并決定采用適當的插補或刪除策略。

（2）預處理：

• 文本規范化：通過將文本轉換為小寫、刪除特殊字符和確保格式一致來規范文本。
• 標記化：將reviewText分解為單個標記（單詞或短語），以便于分析。
• 刪除停用詞：過濾掉對分析沒有意義的常見詞。
• 詞源化/詞干化：將單詞還原為其基本形式，以統一各種變體。

（3）NLP技巧：

• 情感分析：為評論分配情感分數，以評估整體客戶滿意度。
• 關鍵字提取：使用TF-IDF或主題建模（如LDA）等技術識別評論中的關鍵主題。

（4）可擴展性和性能

處理較大的數據集：

• 分布式計算：TAG可以利用Apache Spark或Dask等框架跨多個節點處理數據，增強對大型數據集的處理能力。
• 數據庫優化：對頻繁查詢的字段進行索引，以提高搜索性能。

權衡：

• 速度與準確性：性能優化可能會加快查詢執行，但可能會影響從復雜分析中獲得的見解的深度。
• 資源利用率：增加可擴展性通常需要更多的計算資源，從而影響成本。平衡成本和性能是至關重要的。

步驟2：查詢合成

這個階段使用Text-to-SQL方法將自然語言查詢轉換為可執行的SQL語句。

（1）自然語言處理（NLP）：

• 意圖分析：分析用戶的查詢，以確定潛在的意圖（例如，尋找適合家庭入住的酒店的信息）。
• 實體識別：識別查詢中的關鍵實體，重點關注與酒店特征相關的關鍵字。

（2）查詢映射：TAG將用戶的意圖映射到相關的數據庫表和字段。例如，如果用戶查詢家庭友好型的酒店，TAG會識別與家庭設施相關的關鍵字。

（3）SQL生成：TAG根據映射構造SQL查詢。對于用戶查詢“兒童友好型酒店的亮點是什么？”生成的SQL可能是：

SQL

1 SELECT hotelID, reviewerName, reviewText, summary, overall
2 FROM reviews
3 WHERE reviewText LIKE '%kid-friendly%' OR reviewText ILIKE '%family%'
4 ORDER BY overall DESC;
5

這個SQL語句用于檢索提到具有家庭友好型設施的酒店，并按評分排序，使組織能夠從旅行評論數據中獲取有價值的見解。

示例查詢

為了說明TAG如何處理有關酒店功能的各種查詢，請考慮以下示例：

• 問題：兒童友好型酒店的亮點是什么？
• 問題：哪些酒店最適合養狗人士？

執行查詢

在合成查詢之后，執行查詢會產生有價值的結果。以下是執行SQL查詢后輸出數據的示例：

執行SQL查詢后輸出數據的示例：

自然語言答案生成

在檢索相關數據后，TAG使用RAG生成簡潔的摘要。以下是這一過程的工作原理：

Python

1 from langchain import OpenAI, PromptTemplate, LLMChain
2 import sqlite3
3
4 # Establish connection to the SQLite database
5 def connect_to_database(db_name)：
6    """Connect to the SQLite database."""
7    return sqlite3.connect(db_name)
8
9 # Function to execute SQL queries and return results
10 def execute_sql(query, connection)：
11    """Execute the SQL query and return fetched results."""
12    cursor = connection.cursor()
13    cursor.execute(query)
14    return cursor.fetchall()
15
16 # Define your prompt for SQL query synthesis
17 query_prompt = PromptTemplate(
18    input_variables=["user_query"],
19    template="Generate an SQL query based on the following request： {user_query}"
20 )
21
22 # Initialize the language model
23 llm = OpenAI(model="gpt-3.5-turbo")
24
25 # Create a chain for generating SQL queries
26 query_chain = LLMChain(llm=llm, prompt=query_prompt)
27
28 # Define your prompt for generating natural language answers
29 answer_prompt = PromptTemplate(
30    input_variables=["results"],
31    template="Based on the following results, summarize the highlights： {results}"
32 )
33
34 # Create a chain for generating summaries
35 answer_chain = LLMChain(llm=llm, prompt=answer_prompt)
36
37 # Function to simulate data labeling (for demonstration purposes)
38
def label_data(reviews)：
39    """Label data based on specific keywords in reviews."""
40    labeled_data = []
41    for review in reviews：
42        if "family" in review[1].lower()：
43            label = "Family-Friendly"
44        elif "dog" in review[1].lower()：
45            label = "Pet-Friendly"
46        elif "luxury" in review[1].lower()：
47            label = "Luxury"
48        else：
49            label = "General"
50        labeled_data.append((review[0], review[1], label))
51    return labeled_data
52
53 # Main process function
54 def process_user_query(user_query)：
55    """Process the user query to generate insights from travel reviews."""
56    # Connect to the database
57    connection = connect_to_database("travel_reviews.db")
58
59    # Step 1： Generate SQL query from user input
60    sql_query = query_chain.run(user_query)
61    print(f"Generated SQL Query： {sql_query}\n")
62
63    # Step 2： Execute SQL query and get results
64    results = execute_sql(sql_query, connection)
65    print(f"SQL Query Results：\n{results}\n")
66
67    # Step 3： Label the data
68    labeled_results = label_data(results)
69    print(f"Labeled Results：\n{labeled_results}\n")
70
71    # Step 4： Generate a summary using RAG
72    final_summary = answer_chain.run(labeled_results)
73    print(f"Final Summary：\n{final_summary}\n")
74
75    # Format the output as unstructured data
76    formatted_output = "\n".join([f"Reviewer： {review[0]}, Review： {review[1]}, Label： {review[2]}" for review in labeled_results])
77    print("Unstructured Output：\n")
78    print(formatted_output)
79
80    # Close the database connection
81    connection.close()
82
83 # Example user query
84 user_query = "What are the highlights of kid-friendly hotels?"
85 process_user_query(user_query)

輸出示例：

JSON

1 {"reviewSummary"： "The hotel exceeded expectations for family stays, providing clean rooms and friendly staff, making it ideal for family getaways. It is affordable, convenient, and highly recommended for families looking for a perfect experience with minor issues.", "Label"："Kid-Friendly"}
2

這種方法利用RAG從個人評論中綜合出細致入微的總結，提供清晰的概述，而不僅僅是結果的匯總。

TAG的改進

TAG通過解決傳統限制顯著增強了查詢過程：

• 增強的查詢合成：TAG綜合考慮了整個數據庫結構的優化查詢，支持更廣泛的自然語言查詢。
• 高效的數據庫執行：TAG跨大型數據集快速執行查詢，便于快速檢索對時間敏感的決策的基本見解。
• 改進的自然語言生成：通過利用先進的語言模型，TAG生成連貫的、場景相關的響應，簡化用戶解釋。

相較于當前方法的優勢

• 用戶友好的交互：用戶可以用自然語言提出問題，無需具備SQL知識。
• 快速洞察：快速查詢執行可以最大限度地減少訪問相關數據所需的時間。
• 場景理解：增強的摘要生成提高了決策者的數據可訪問性和有用性。

優化結果的重新排序策略

為了確保高質量的檢索結果，有效的重新排序策略可以優化輸出。以下是一些策略：

• 基于分數的重新排序：利用分數（例如有用性、評分）來確定響應的優先級，為可靠的審閱者分配更高的權重，以提高質量。
• 語義相似性：使用嵌入來度量語義相似度，并根據與用戶查詢場景的相關性對結果重新排序。
• 場景重新排名：分析查詢場景（例如家庭友好型），并根據評論中出現的特定關鍵字進行重新排名，以提供最相關的見解。

結論

TAG和RAG在轉變客戶反饋分析方面處于領先地位，使企業能夠利用評論和調查中包含的豐富見解。通過自動化數據標記、查詢合成和自然語言生成，組織可以獲得可操作的見解，從而改進決策過程。

隨著這些技術的發展，潛在的應用十分廣泛，從個性化的客戶體驗到有針對性的營銷策略。采用TAG和RAG不僅可以簡化對大型數據集的分析，還可以使組織能夠在快速變化的市場環境中保持競爭力。

原文標題：?Transforming Customer Feedback With Automation of Summaries and Labels Using TAG and RAG??，作者：Venkata Gummadi