在數字化時代，數據作為核心資產，其高效處理與利用成為企業和組織發展的關鍵。然而，大量數據以非結構化文本、傳統文檔等形式存在，導致數據提取面臨巨大挑戰。人工智能，尤其是大語言模型（LLMs）的爆發式發展，為大規模自動化數據提取提供了新的可能。它不僅能夠處理海量文檔，還能應對多種格式的數據，無需預先針對所有可能的格式進行開發，極大地提升了數據處理的效率和靈活性。

但在實際應用中，并非所有LLM模型都能達到預期效果。不同模型在性能、適用場景等方面存在顯著差異。本文將圍繞數據提取這一具體場景，深入探討不同LLM模型的表現，分析影響模型性能的因素，并結合實際測試案例，為讀者呈現一幅全面的LLM模型對比圖景，旨在為相關領域的研究和應用提供參考。

一、LLM模型發展現狀與挑戰

（一）模型迭代速度與多樣性

當前，LLM領域呈現出蓬勃發展的態勢，模型更新換代速度極快。以GPT系列為例，其主要版本每年發布多次， minor版本更是每兩周左右就有更新。與此同時，開源社區如HuggingFace、LlamaHub等也在不斷推動模型的進化，涌現出大量不同類型、不同規模的模型。這種快速發展的局面，為數據提取任務提供了豐富的模型選擇，但也帶來了巨大的挑戰。

開發團隊若采用簡單粗暴的方式，選擇運行最大、最強大的模型，期望借此獲得最佳結果，往往會發現事與愿違。同樣，花費大量時間對模型進行微調或優化提示詞，雖然可能在一定程度上提升性能，但面對如此快速的模型迭代，這種方式難以持續，團隊可能會陷入不斷更新代碼的困境，否則就有被競爭對手超越的風險。

（二）軟件架構的新挑戰

在傳統的軟件開發中，UI開發經歷了從將模型、視圖、控件等混合編碼到分層抽象的過程，從而實現了更好的可維護性和擴展性。而在AI編碼領域，目前的狀況類似于早期的UI開發。像LlamaIndex、LangChain等框架雖然具有一定的模型無關性，但開發人員仍然需要將模型和提示詞嵌入到代碼中，缺乏清晰的分層結構。

DSPy等框架試圖通過模塊化方法，將業務邏輯、提示詞和AI代理分離，以應對這一挑戰。然而，盡管LLMs為數據處理自動化打開了新的大門，但也催生了一種新型的軟件架構。在這種架構下，如何確保當前構建的系統在一年后仍能保持更新，目前還缺乏成熟的理解和方法。這意味著開發團隊需要探索新的架構模式，以適應LLM模型快速變化的特點。

二、數據提取場景下的模型對比測試設計

（一）測試目標與場景

為了真實評估LLM模型在數據提取任務中的性能，本次測試選擇了一個具有代表性的場景：讀取簡歷并回答關于候選人的問題，同時以明確的格式返回答案。這一場景要求模型具備多方面的能力，包括理解人類設計的文檔結構、把握文檔的語義內容、能夠根據從簡歷中“讀取”的信息回答特定問題，以及構建符合嚴格模式的輸出。通過這一測試，可以全面考察模型在實際應用中的表現。

（二）測試框架與工具

本次測試采用LlamaIndex作為調用模型的框架，利用Ollama在本地運行模型，確保測試環境的可控性和穩定性。同時，使用Pydantic定義輸出格式，明確數據提取的結構和要求，便于對模型的輸出進行驗證和評估。

（三）模型組合與測試方法

測試中選取了3種嵌入模型和13種LLM模型進行組合測試。由于語言系統具有統計特性，模型結果會存在波動，因此每種嵌入模型和LLM模型的組合運行10次，通過計算平均值和總分來衡量模型的準確性和一致性。

在評分方面，制定了明確的規則：當系統能夠準確從簡歷中提取信息時加分；若無法提取姓名等必填信息，或錯誤提取技能、將雇主誤判為職位等情況，則進行扣分；如果LLM生成的輸出無法映射到Pydantic模式，導致無法通過程序驗證，則視為失敗。這種評分方式能夠全面、客觀地反映模型的性能。

（四）數據結構設計

為了使測試結果具有結構化，同時又不過于僵化，定義了ResumeData和WorkExperience等Pydantic模型。這些模型允許大多數字段為null，或接受字符串列表或字典等開放結構，給予LLMs足夠的靈活性。在實際處理中，即使許多LLMs返回格式不佳的JSON，也會先檢查常見錯誤并進行糾正，然后再進行解析。此外，模型中包含至少一個嵌套字段，以模擬現實場景中復雜的數據結構，更真實地測試模型的處理能力。

三、測試結果與分析

（一）整體表現與嵌入模型的影響

從整體測試結果來看，大多數模型在使用BAAI/bge-base-en-v1.5嵌入數據時表現更佳。該嵌入模型不僅帶來了最佳的平均得分和總分，還使失敗次數最少。這表明嵌入模型在擴展LLM知識方面起著至關重要的作用，其性能直接影響LLM在數據提取任務中的表現。不同的嵌入模型與LLM模型之間的交互存在差異，選擇合適的嵌入模型是提升整體性能的關鍵因素之一。

（二）小模型的逆襲：Qwen3與Gemma3

在測試中，令人意外的是，具有40億參數的Qwen3和Gemma3模型，其表現竟然超過了擁有706億參數的Llama3.3模型。這兩個模型是從更大的模型中提煉而來，并且具備混合語言和推理模式。這種模式使它們能夠分析提示詞，制定回答策略，并檢查結果，從而在更復雜的推理和提取任務中表現出色。

進一步對Qwen系列模型進行測試發現，在本次挑戰中，參數規模存在一個拐點，即40億參數。小于40億參數的模型表現較差，而超過40億參數的模型雖然運行速度變慢，但結果并未得到改善。這一發現打破了“模型越大，性能越好”的固有觀念，表明在特定任務中，模型的結構和設計比單純的參數規模更為重要。

（三）模型間交互的復雜性

Gemma3與BAAI/bge-base-en-v1.5嵌入模型搭配時，是得分最高的組合之一。然而，當將嵌入模型切換為nomic-embed-text時，Gemma3甚至無法生成合法的JSON結果。這一現象揭示了即使在簡單的RAG設置中，模型之間的交互也可能產生意想不到的結果。不同模型對不同的嵌入方式敏感，這種復雜性使得在實際應用中，僅僅優化單個模型是不夠的，還需要充分考慮模型之間的兼容性和協同效應。

四、影響LLM模型性能的關鍵因素

（一）嵌入模型的選擇

嵌入模型負責將人類文本轉換為LLM能夠處理的向量形式，其質量直接影響LLM對新信息的理解和利用。一個優秀的嵌入模型能夠準確捕捉文本的語義特征，使LLM能夠更有效地檢索和利用相關信息。在數據提取任務中，合適的嵌入模型可以提高信息檢索的準確性和效率，從而提升整體性能。因此，在實際應用中，應根據具體的任務需求和數據特點，精心選擇嵌入模型。

（二）模型參數規模與結構

雖然傳統觀念認為模型參數規模越大，性能越好，但本次測試表明，在特定任務中，參數規模并非唯一的決定因素。Qwen3和Gemma3等小模型通過合理的結構設計，如混合語言和推理模式，能夠在復雜任務中超越大模型。這說明模型的結構設計，如是否具備分析提示、策略制定和結果檢查等功能，對性能有著重要影響。在選擇模型時，需要綜合考慮參數規模和模型結構，根據任務的復雜度和需求，選擇最適合的模型。

（三）模型間的協同效應

模型之間的交互是一個復雜的過程，不同模型的組合可能產生不同的效果。在RAG架構中，LLM和嵌入模型之間的協同工作至關重要。本次測試中Gemma3在不同嵌入模型下的表現差異，充分說明了這一點。在實際應用中，需要對模型組合進行充分的測試和優化，以發現最佳的協同方式。此外，隨著代理系統的發展，未來的系統可能包含多個AI和模型，它們之間的交互將更加復雜，因此如何實現模型間的良好協同，是需要解決的關鍵問題之一。

五、對軟件架構的啟示

（一）傳統模塊化模式的局限性

在傳統的軟件開發中，模塊化模式通過將問題分解為簡單、獨立的組件，實現了系統的穩定性、可擴展性和安全性。然而，在基于代理的系統中，復雜性從傳統的設計模式轉移到了黑箱AI模型中。傳統的模塊化模式難以適應這種新的復雜性，因為AI模型的內部工作機制難以理解和預測，模型之間的交互也存在不確定性。

（二）新架構模式的探索

面對LLM模型帶來的新挑戰，軟件架構需要發展新的模式和方法。未來的架構將更少地關注數據交換和格式設計，而更多地關注AI交互點，這些交互點將成為新的API。開發團隊需要探索如何管理多個模型和AI代理之間的交互，確保系統的可靠性和安全性。

在構建基于LLM的系統時，可以借鑒傳統軟件開發中的分層思想，將業務邏輯、模型管理、提示詞優化等模塊分離，提高系統的可維護性。同時，需要建立有效的模型評估和監控機制，及時發現模型性能的變化，并進行調整和優化。此外，還需要研究如何實現模型的動態替換和升級，以適應快速發展的LLM技術。

六、結論與展望

（一）結論總結

本次對比測試深入探討了不同LLM模型在數據提取任務中的表現，得出了以下重要結論：

1. 嵌入模型對LLM的性能有著顯著影響，選擇合適的嵌入模型是提升數據提取效果的關鍵。
2. 模型參數規模并非決定性能的唯一因素，小模型通過合理的結構設計，能夠在特定任務中超越大模型。
3. 模型之間的交互復雜且難以預測，即使在簡單的架構中，不同模型組合也可能產生巨大的性能差異。
4. 基于代理的系統帶來了新的軟件架構挑戰，傳統模塊化模式需要更新，以適應AI模型的動態性和復雜性。

（二）未來研究方向

隨著LLM技術的不斷發展，未來在數據提取領域還有許多值得研究的方向：

1. 進一步探索模型組合的優化方法，研究如何通過自動調優技術，快速找到最佳的LLM和嵌入模型組合。
2. 開發更高效的模型評估指標，不僅關注準確性，還應考慮模型的運行效率、可解釋性等因素。
3. 研究如何將領域知識融入LLM模型，提高模型在特定行業數據提取任務中的性能。
4. 探索新型的軟件架構模式，如基于微服務的AI代理架構，以實現系統的靈活擴展和動態管理。

（三）對實際應用的建議

對于企業和組織在實際應用中選擇和使用LLM模型進行數據提取，提出以下建議：

1. 不要盲目追求大模型，應根據具體的任務需求和數據特點，選擇合適規模和結構的模型。
2. 重視嵌入模型的選擇和優化，通過實驗比較不同嵌入模型的效果，找到與LLM模型最匹配的組合。
3. 建立模型測試和驗證機制，在部署模型之前，進行充分的測試，評估模型在實際數據中的表現。
4. 關注軟件架構的適應性，采用模塊化、分層的設計思想，便于模型的更新和維護。

LLM模型為數據提取帶來了革命性的機遇，但同時也帶來了諸多挑戰。通過深入的對比分析和持續的研究探索，我們能夠更好地利用LLM技術，提升數據處理的效率和質量，為數字化時代的發展提供有力支持。

code:https://github.com/lucasmcgregor/medium__llm_comparison