譯者 | 李睿
審校 | 重樓
本指南展示了如何使用Hugging Face的Transformer模型構建語義搜索引擎，以提供更精確、更貼合場景的搜索結果。
你也許會好奇，像谷歌這樣的搜索引擎是如何將“預算友好的度假勝地”（budget-friendly vacation spot）和“廉價的旅游地點”（cheap places to travel）等短語解釋為基本相同的查詢？這正是語義搜索的強大之處。傳統(tǒng)搜索引擎嚴重依賴于精確的關鍵字匹配，它們只查找包含查詢中輸入的確切單詞的文檔或結果。例如，你如果搜索“預算友好的度假勝地”，基于關鍵字的搜索引擎只會返回包含這些確切詞匯的結果。然而，這種方法在理解人類語言的細微差別方面存在不足，例如同義詞、不同的措辭或單詞背后的意圖。
例如，一個用戶可能搜索“負擔得起的海灘度假村”（affordable beach resorts），而另一個用戶可能搜索“價格低廉的海濱酒店”（cheap seaside hotels）。這兩個查詢都涉及類似的住宿類型，但由于措辭不同，傳統(tǒng)搜索引擎可能無法有效地將這兩個搜索聯(lián)系起來。
這就是語義搜索的用武之地。與傳統(tǒng)的基于關鍵字的搜索不同，語義搜索引擎理解單詞背后的含義，而不僅僅是單詞本身。它們能夠認識到，像“負擔得起”（affordable）、“廉價” （cheap）、“便宜”（inexpensive）和“預算友好”（budget-friendly）等術語都指的是同一個概念：經濟實惠的旅行選擇。同樣，它們也可以理解“海濱度假村”（beachfront resort）和“海濱酒店”（seaside hotel）在概念上是相似的，盡管它們采用不同的詞語來表達。
在本指南中，將使用Hugging Face Transformer為旅游住宿領域構建一個生產就緒(Production-ready)的語義搜索引擎。其目標是創(chuàng)建一個能夠解釋用戶查詢并返回最相關結果的系統(tǒng)，考慮查詢的語義含義，而不僅僅是精確的關鍵字匹配。此外，還將整合場景相關性，例如用戶對住宿地點、價格、評級和季節(jié)性需求的偏好，以創(chuàng)建高度個性化和有效的搜索體驗。
什么是語義搜索？
從本質上來說，語義搜索是通過關注意義和場景而不是簡單地匹配關鍵字來改善搜索體驗。傳統(tǒng)的搜索引擎將查詢視為文字字符串，與輸入的單詞完全匹配。這種方法通常不能考慮到查詢可能表達的各種方式或用戶意圖的細微差別。
另一方面，語義搜索引擎查看查詢背后的意圖，并嘗試檢索與用戶搜索內容在語義上相似的結果。語義搜索引擎不是簡單地將查詢與確切單詞進行匹配，而是試圖理解所涉及單詞和短語的含義。
例如，考慮以下搜索查詢：
- “加利福尼亞州最好的海灘度假村”
- “洛杉磯附近的頂級海岸度假村”
- “南加州的海濱豪華酒店”
雖然措辭不同，但所有這些查詢都可能指的是類似的住宿類型——位于美國加利福尼亞州的海灘或海濱度假勝地。語義搜索引擎會識別出“海灘度假村”（beach resort）、“海岸度假村”（coastal resort）和“海濱豪華酒店”（seaside luxury hotel）等表述在概念層面的高度相似，即使它們并不使用完全一致的關鍵字。通過理解這些術語背后的含義，語義搜索引擎可以根據與用戶意圖的相關性對結果進行排序。
語義搜索過程序列圖
此圖概述了語義搜索引擎工作流中的事件序列，突出顯示了系統(tǒng)如何處理用戶查詢并返回語義相關的結果。
語義搜索是如何工作的？
語義搜索依賴于一些關鍵原則和技術，使其能夠根據含義而不是精確的關鍵字匹配來理解和排名結果：
1.單詞嵌入和句子嵌入
單詞嵌入是一個向量（一組數字），它以一種反映其語義的方式表示一個單詞。當兩個單詞在語義上相近或相似時，它們的嵌入向量也會呈現出相似性，例如“汽車”（car）和“機動車”（automobile），這意味著它們的向量表示將在多維空間中彼此接近。
更高級的模型，如句子嵌入，將整個句子或短語表示為向量。這很有用，因為它不僅可以比較單個單詞，還可以比較整個查詢或文檔。這些嵌入是使用Transformer生成的，例如Hugging Face提供的Transformer模型，這些模型已經在大型文本數據集上進行了預訓練，并且能夠理解單詞、短語和句子之間的語義關系。
2.場景理解
與傳統(tǒng)的基于關鍵字的搜索不同，語義搜索模型包含查詢的場景。這意味著搜索引擎會考慮同義詞、詞序，甚至單詞之間的隱含關系，以提供更準確和場景相關的結果。
例如，如果用戶搜索“加利福尼亞便宜的海灘度假村”，搜索引擎可以根據場景擴展“廉價”一詞的含義，包括“負擔得起”、“預算友好”或“便宜”等相關術語，從而產生更相關的搜索結果。
3.向量空間模型
一旦將查詢轉換為嵌入，搜索引擎就會將其與表示潛在結果（如旅行住宿信息或文檔）的嵌入數據庫進行比較。這種比較是通過計算向量之間的余弦相似度或歐幾里得距離來完成的，以此來評估查詢與數據庫中各個項目之間的語義相似程度。
當兩個向量的距離越近時，就意味著查詢與對應結果在語義層面上的匹配度越高。這允許系統(tǒng)根據語義相關性對結果進行排序，而不是簡單地匹配關鍵字。相似度得分最高的結果將會展示給用戶。
4.檢索和排序
在將查詢嵌入與潛在結果的嵌入進行匹配之后，搜索引擎會根據這些結果與查詢之間的語義相似度，對搜索結果進行排序。首先顯示相似度最高的結果。為了進一步增強相關性，生產就緒的語義搜索引擎可以綜合考量其他排名因素，例如用戶的個人偏好（例如價格范圍和位置的特定要求）、評級和季節(jié)性（例如，夏季與冬季的旅行偏好）。
傳統(tǒng)搜索面臨的問題
考慮一個用戶搜索住宿信息的旅游平臺。以下是傳統(tǒng)關鍵字搜索中的一個常見問題：
Python
1 # Traditional keyword-based search
2 destinations = [
3 {"name": "Sunset Resort", "description": "Budget-friendly beachfront accommodation"},
4 {"name": "Mountain Lodge", "description": "Affordable mountain getaway"},
5 {"name": "City Center Hotel", "description": "Cost-effective downtown location"}
6 ]
7
8 def basic_search(query):
9 return [d for d in destinations if query.lower() in d['description'].lower()]
10
11 # Search for "cheap hotels"
12 results = basic_search("cheap hotels")
13 print(f"Found results: {len(results)}") # Output: Found results: 0
14盡管有多種經濟實惠的選擇，但搜索失敗了，因為：
- 它缺乏對同義詞的理解（例如，“廉價”、“預算友好”和“負擔得起”）。
- 它忽略了場景（住宿類型）。
- 它不能處理語義變化。
構建更好的解決方案：TravelSearchAI
以下利用Hugging Face的Transformer和現實世界的數據，為旅游平臺創(chuàng)建一個全面的語義搜索引擎。
1.設置數據結構
首先設置定義住宿的一個數據結構：
Python
1 from dataclasses import dataclass
2 from typing import List, Optional
3 from datetime import datetime
4 import numpy as np
5 from transformers import AutoModel, AutoTokenizer
6
7 @dataclass
8 class Accommodation:
9 id: str
10 name: str
11 description: str
12 location: str
13 price_per_night: float
14 amenities: List[str]
15 reviews: List[str]
16 rating: float
17 embedding: Optional[np.ndarray] = None
18
19 def to_searchable_text(self) -> str:
20 """Combine all relevant fields into searchable text."""
21 amenities_text = ", ".join(self.amenities)
22 reviews_text = " ".join(self.reviews[:5]) # Use first 5 reviews
23 return f"{self.name} in {self.location}. {self.description}. " \
24 f"Features: {amenities_text}. Guest reviews: {reviews_text}"
25
26 class AccommodationProcessor:
27 def __init__(self, model_name: str = "sentence-transformers/all-MiniLM-L6-v2"):
28 self.tokenizer = AutoTokenizer.from_pretrained(model_name)
29 self.model = AutoModel.from_pretrained(model_name)
30
31 def create_embedding(self, text: str) -> np.ndarray:
32 """Create an embedding for text using Hugging Face model."""
33 inputs = self.tokenizer(text, return_tensors="pt",
34 max_length=512, truncation=True, padding=True)
35 outputs = self.model(**inputs)
36 return outputs.last_hidden_state.mean(dim=1).detach().numpy()
372.構建搜索引擎核心
接下來，將創(chuàng)建搜索引擎的核心部分，它將向量相似性和場景感知相結合：
Python
1 import faiss
2 from dataclasses import dataclass
3 from typing import List, Tuple
4
5 @dataclass
6 class SearchResult:
7 accommodation: Accommodation
8 score: float
9 relevance_factors: dict
10
11 class TravelSearchEngine:
12 def __init__(self, embedding_dim: int = 384):
13 self.index = faiss.IndexFlatL2(embedding_dim)
14 self.accommodations: List[Accommodation] = []
15 self.processor = AccommodationProcessor()
16
17 def add_accommodations(self, accommodations: List[Accommodation],
18 batch_size: int = 32):
19 """Add accommodations to the search index with batching."""
20 for i in range(0, len(accommodations), batch_size):
21 batch = accommodations[i:i + batch_size]
22 embeddings = []
23 for acc in batch:
24 text = acc.to_searchable_text()
25 acc.embedding = self.processor.create_embedding(text)
26 embeddings.append(acc.embedding)
27
28 vectors = np.vstack(embeddings)
29 self.index.add(vectors)
30 self.accommodations.extend(batch)
31
32 def _expand_query(self, query: str) -> str:
33 """Expand query with semantic variations."""
34 expansions = {
35 'cheap': ['affordable', 'budget', 'inexpensive'],
36 'luxury': ['high-end', 'premium', 'upscale'],
37 'beach': ['seaside', 'oceanfront', 'coastal'],
38 'city': ['downtown', 'urban', 'metropolitan']
39 }
40
41 expanded = query
42 for term, synonyms in expansions.items():
43 if term in query.lower():
44 expanded += f" {' '.join(synonyms)}"
45 return expanded
463.添加智能排名和過濾器
為了提高搜索結果的相關性，將實施場景排名：
Python
1 class SmartRanker:
2 def __init__(self):
3 self.price_ranges = {
4 'budget': (0, 100),
5 'mid-range': (100, 250),
6 'luxury': (250, float('inf'))
7 }
8
9 def rank_results(self, results: List[SearchResult],
10 context: dict) -> List[SearchResult]:
11 """Rank results based on multiple factors."""
12 for result in results:
13 score_adjustments = {
14 'price_match': self._calculate_price_match(
15 result.accommodation, context.get('budget')),
16 'rating_boost': result.accommodation.rating * 0.1,
17 'location_relevance': self._calculate_location_relevance(
18 result.accommodation, context.get('location')),
19 'seasonal_boost': self._calculate_seasonal_boost(
20 result.accommodation, context.get('date'))
21 }
22
23 # Combine scores
24 result.score *= sum(score_adjustments.values())
25 result.relevance_factors = score_adjustments
26
27 return sorted(results, key=lambda x: x.score, reverse=True)
28
29 def _calculate_price_match(self,
30 accommodation: Accommodation,
31 budget: float) -> float:
32 if not budget:
33 return 1.0
34 return 1.0 / (1.0 + abs(accommodation.price_per_night - budget))
35
36 def _calculate_location_relevance(self,
37 accommodation: Accommodation,
38 target_location: str) -> float:
39 if not target_location:
40 return 1.0
41 # Implement location matching logic here
42 return 1.0
43
44 def _calculate_seasonal_boost(self,
45 accommodation: Accommodation,
46 travel_date: datetime) -> float:
47 if not travel_date:
48 return 1.0
49 # Implement seasonal scoring logic here
50 return 1.0
514.綜合運用：一個完整示例
以下是如何利用語義旅游搜索引擎的方法：
Python
1 # Create sample data
2 def create_sample_accommodations():
3 return [
4 Accommodation(
5 id="1",
6 name="Beachfront Paradise",
7 description="Luxury beachfront resort with stunning ocean views",
8 location="Malibu, CA",
9 price_per_night=299.99,
10 amenities=["Pool", "Spa", "Restaurant", "Beach access"],
11 reviews=["Amazing beach views!", "Excellent service"],
12 rating=4.8
13 ),
14 Accommodation(
15 id="2",
16 name="Downtown Boutique",
17 description="Affordable boutique hotel in city center",
18 location="Portland, OR",
19 price_per_night=149.99,
20 amenities=["Free WiFi", "Restaurant", "Business Center"],
21 reviews=["Great location!", "Perfect for business travelers"],
22 rating=4.5
23 )
24 ]
25
26 # Initialize the search engine
27 engine = TravelSearchEngine()
28 ranker = SmartRanker()
29
30 # Add sample accommodations
31 accommodations = create_sample_accommodations()
32 engine.add_accommodations(accommodations)
33
34 # Example search function
35 def search_accommodations(query: str, context: dict = None):
36 """
37 Search accommodations with context awareness.
38
39 Args:
40 query: Search query (e.g., "beach resort near LA").
41 context: Additional context (budget, dates, location preferences).
42 """
43 # Expand query
44 expanded_query = engine._expand_query(query)
45
46 # Get initial results
47 results = engine.search(expanded_query, k=10)
48
49 # Apply smart ranking
50 if context:
51 results = ranker.rank_results(results, context)
52
53 # Display results
54 for result in results:
55 print(f"\n{result.accommodation.name}")
56 print(f"Location: {result.accommodation.location}")
57 print(f"Price: ${result.accommodation.price_per_night:.2f}/night")
58 print(f"Rating: {result.accommodation.rating}?")
59 print(f"Relevance Score: {result.score:.2f}")
60 print("Relevance Factors:", result.relevance_factors)
61
62 # Example usage
63 search_context = {
64 'budget': 200,
65 'location': 'California',
66 'date': datetime(2024, 7, 1)
67 }
68
69 search_accommodations("affordable beach resort", search_context)
70使用注意事項
1.性能優(yōu)化
為了提高性能，可以實現緩存和優(yōu)化索引策略：
Python
1 from functools import lru_cache
2
3 class CachedSearchEngine(TravelSearchEngine):
4 @lru_cache(maxsize=1000)
5 def get_query_embedding(self, query: str) -> np.ndarray:
6 """Cache query embeddings for frequent searches."""
7 return self.processor.create_embedding(query)
8
9 def optimize_index(self):
10 """Convert to a more efficient index type for large datasets."""
11 if len(self.accommodations) > 100000:
12 # Convert to IVF index for better scaling
13 nlist = int(np.sqrt(len(self.accommodations)))
14 quantizer = faiss.IndexFlatL2(self.embedding_dim)
15 new_index = faiss.IndexIVFFlat(quantizer,
16 self.embedding_dim,
17 nlist)
18 new_index.train(self.get_all_vectors())
19 new_index.add(self.get_all_vectors())
20 self.index = new_index
212.監(jiān)控和分析
為了收集見解并提高性能，可以實施分析：
Python
1 class SearchAnalytics:
2 def __init__(self):
3 self.searches = []
4
5 def log_search(self, query: str, results: List[SearchResult],
6 selected_result: Optional[str]):
7 """Log search data for analysis."""
8 self.searches.append({
9 'timestamp': datetime.now(),
10 'query': query,
11 'num_results': len(results),
12 'top_result': results[0].accommodation.id if results else None,
13 'selected_result': selected_result,
14 'conversion': selected_result is not None
15 })
16
17 def get_metrics(self) -> dict:
18 """Calculate key search metrics."""
19 total_searches = len(self.searches)
20 conversions = sum(1 for s in self.searches if s['conversion'])
21
22 return {
23 'total_searches': total_searches,
24 'conversion_rate': conversions / total_searches if total_searches else 0,
25 'zero_results_rate': sum(1 for s in self.searches
26 if s['num_results'] == 0) / total_searches
27 }
28
29最佳實踐和技巧
創(chuàng)建一個健壯的語義搜索引擎需要持續(xù)關注各個方面。以下是確保有效操作和用戶體驗的最佳實踐。
數據質量
- 定期更新住宿數據：實施實時更新和定期審查系統(tǒng)，以保持數據的準確性。
- 清理和規(guī)范化文本數據：使用一致的命名約定和NLP技術來標準化數據條目。
- 保持標準化格式：為住宿表示和驗證規(guī)則建立清晰的架構。
性能
- 利用批處理：通過批量插入和異步處理優(yōu)化更新。
- 實現緩存：使用內存存儲和查詢結果緩存來加快響應時間。
- 監(jiān)控內存使用情況：使用分析工具密切關注內存使用情況，并隨時準備根據需要擴展基礎設施。
用戶體驗
- 提供相關過濾器：允許用戶通過設施、價格范圍和評級進行過濾，以獲得更加個性化的體驗。
- 解釋排名決定：通過解釋某些結果排名更高的原因來建立用戶信任。
- 實現自動建議：通過基于歷史數據預測查詢來增強用戶交互。
增強路線圖
為了不斷改進搜索引擎，可以考慮以下改進：
- 實現多語言支持：擴展功能，通過自動檢測和翻譯服務支持多種語言。
- 添加圖像相似性搜索：結合視覺搜索功能，使用戶能夠根據圖像找到住宿場所。
- 集成外部API：從第三方服務獲取實時數據和用戶評論，增強內容的豐富性。
- 引入個性化：根據用戶資料和過去的搜索個性化搜索結果。
- 建立A/B測試框架：通過實驗和用戶反饋持續(xù)評估性能。
結論
本指南構建了一個生產就緒的語義搜索引擎，能夠理解用戶查詢，并根據各種場景因素對搜索結果進行排序。利用Hugging Face的Transformer和智能排名方法，這一解決方案超越了簡單的關鍵字匹配的局限，為搜索旅行住宿的用戶提供高度相關和個性化的結果。通過遵循概述的最佳實踐，并根據用戶反饋和性能指標不斷改進，可以創(chuàng)建一個在競爭日益激烈的環(huán)境中脫穎而出的搜索引擎。
原文標題：Personalized Search Optimization Using Semantic Models and Context-Aware NLP for Improved Results，作者：Venkata Gummadi
