編譯 | 言征
出品 | 51CTO技術棧（微信號：blog51cto）
數據&AI企業家、投資人Oliver Molander 近日在LinkedIn上的帖子中打趣道：“如果你在2022年[ChatGPT推出]之前問人工智能專家什么是LLM，很多人可能會回答說這是一個法律學位。”他補充說，有多少人發現很難接受人工智能遠遠不止是LLMs和文本到視頻模型。
圖片
在表格數據處理和信息解讀方面，真正的贏家是XGBoost（也被稱為Extreme Gradient Boosting）。在眾多深度學習技術的炒作中，甚至包括大型語言模型（LLMs）或最近興起的檢索增強生成（RAG）技術中，XGBoost在各個方面都表現出色。去年10月發布的XGBoost 2.0在多個新的分類任務上表現更加出色。
盡管XGBoost、深度學習或RAG等技術無法直接比較，但它們的功能是相同的——都是為了檢索、理解信息并生成輸出。
1.聽說過新的XGBoost LLM嗎？
盡管生成性人工智能和大型語言模型（LLMs）的發展取得了巨大進步，并且在依賴表格數據的領域中，XGBoost的實際效用仍然是無與倫比的。XGBoost的可解釋性、效率和魯棒性使其成為從金融到醫療保健等應用領域中不可或缺的工具。
然而，圍繞LLMs和RAG（檢索式生成）技術的熱潮讓人們開始忽視其他ML技術的重要性，例如XGBoost。風險資本家們急切地想要搭上GenAI和LLMs的快車，以至于每一個新術語往往被錯誤地標記為新型LLM。
但實際上，投資回報的很大一部分集中在預測性ML技術和如XGBoost和隨機森林等技術上。目前，大多數商業用途的AI/ML案例都是使用專有的表格業務數據完成的。
在處理表格數據集時，效率至關重要。XGBoost的多功能性不僅限于分類任務，還包括回歸和排序任務。無論你是需要預測一個連續的目標變量，根據相關性對項目進行排序，還是將數據分類到多個類別中，XGBoost都能輕松應對。
XGBoost的可解釋性、效率和多功能性使其成為許多預測建模嘗試的首選，特別是那些依賴于表格數據的嘗試。相反地，LLMs不斷演變的能力以及RAG的增強潛力為知識密集型應用提供了誘人的前景。
2.RAG太好了，但問題在于——
在2022年7月進行的一項研究中，分析了45個中等規模的數據集，結果顯示，像XGBoost和隨機森林這樣的基于樹的模型在應用于表格數據集時，繼續展現出比深度神經網絡更優越的性能。
這項研究就像是一場技術競賽，而基于樹的模型再次證明了它們在表格數據領域的霸主地位。
而RAG技術的亮相，則是在2020年，當時Meta AI的天才團隊決定為大型語言模型（LLMs）的世界增添一抹亮色。
RAG就像是一顆新星，它的出現改變了游戲規則。RAG的設計初衷是賦予LLMs迫切需要的信息檢索技術，來解決那些帶來困擾的幻覺問題。簡而言之，RAG不僅為LLMs帶來了新的生命力，也為整個人工智能領域帶來了新的希望和可能性。
RAG技術為大型語言模型（LLMs）帶來了一種創新的數據處理方式，允許用戶引入新的數據集，為模型提供最新的信息以生成答案。這種技術有時被稱為“更高級的提示工程”。它正是企業所需要的，可以從它們自己的數據中生成洞見。然而，即便如此，這項技術并沒有完全解決LLMs中的幻覺問題。相反，由于人們開始更加信任這些模型，這個問題可能變得更加嚴重。
盡管RAG技術提供了巨大的潛力，但其部署并非沒有挑戰，尤其是與數據隱私和安全相關的挑戰。例如，提示注入漏洞的存在強調了在利用RAG支持的模型時需要強有力的安全保障。這些挑戰要求開發者和企業在實施RAG技術時，必須采取更加細致和周密的措施，以確保用戶數據的隱私和安全得到保護，同時遵守相關的法律法規。
3.大模型和XGBoost各自的地盤
在機器學習（ML）生態系統中，傳統上存在兩個截然不同的群體：一是專注于表格數據的科學家，他們使用XGBoost、lightGBM等類似工具；另一個則是大型語言模型（LLM）的研究者。這兩組人分別使用了不同的技術和模型。Damein Benveniste在LinkedIn上的The AiEdge表示：“我一直是XGBoost的超級粉絲！曾經有一段時間，我更像是一個XGBoost模型師，而不僅僅是一個機器學習模型師。”
大型語言模型（LLMs）產生文本輸出，但這里的重點在于利用LLMs生成的內部嵌入（潛在結構嵌入），這些嵌入可以傳遞給像XGBoost這樣的傳統表格模型。雖然Transformers無疑已經徹底改變了生成式人工智能，但它們的優勢在于處理非結構化數據、序列數據以及涉及復雜模式的任務。
MachineHack的首席技術官Krishna Rastogi表示：“Transformers就像機器學習領域的氫彈，而XGBoost則是可靠的狙擊步槍。當涉及到表格數據時，XGBoost被證明是首選的精確射手。”
