在自然語言處理（NLP）領(lǐng)域的持續(xù)進(jìn)步中，大型語言模型（LLMs）的領(lǐng)域適應(yīng)模型變得越來越重要。針對特定任務(wù)優(yōu)化的模型能夠提供清晰、簡潔和正確的信息，這是商業(yè)和最終用戶都需要的用例。從醫(yī)療診斷到法律咨詢，再到金融分析，LLMs 正在逐步改變我們與信息互動(dòng)的方式。然而隨著這些模型在特定領(lǐng)域的應(yīng)用越來越廣泛，領(lǐng)域適應(yīng)性的挑戰(zhàn)也隨之而來。特別是在金融領(lǐng)域，對于精確性和可靠性的需求尤為重要。

領(lǐng)域適應(yīng)性指的是模型在特定領(lǐng)域內(nèi)保持或提高其性能的能力。這一過程通常涉及持續(xù)預(yù)訓(xùn)練（CPT），即在模型的原有知識(shí)基礎(chǔ)上引入新領(lǐng)域的數(shù)據(jù)。但是這種方法可能會(huì)導(dǎo)致災(zāi)難性遺忘，即模型在學(xué)習(xí)新任務(wù)時(shí)遺忘了原有任務(wù)的知識(shí)。這在金融領(lǐng)域尤為嚴(yán)重，因?yàn)殄e(cuò)誤的信息可能會(huì)導(dǎo)致巨大的經(jīng)濟(jì)損失。

在這樣的背景下，Llama3-70B-Instruct 模型的出現(xiàn)為金融領(lǐng)域的數(shù)據(jù)分析帶來了巨大的變化。該模型專為解析和理解美國證券交易委員會(huì)（SEC）的復(fù)雜數(shù)據(jù)而設(shè)計(jì)，能夠?yàn)榻鹑趯I(yè)人士提供深入的投資分析和風(fēng)險(xiǎn)管理支持。通過持續(xù)預(yù)訓(xùn)練和模型合并技術(shù)，Llama3-70B-Instruct 成功地在保持通用語言處理能力的同時(shí)，增強(qiáng)了對SEC數(shù)據(jù)的領(lǐng)域特定理解。感興趣的小伙伴可通過 hugging face 使用該模型（鏈接地址：https://huggingface.co/arcee-ai/Llama-3-SEC-Base）。

研究團(tuán)隊(duì)背后的 Arcee AI是一家位于美國佛羅里達(dá)州的前沿人工智能公司。由 Shamane Siriwardhana、Mark McQuade、Thomas Gauthier 等領(lǐng)域?qū)＜翌I(lǐng)銜，這個(gè)團(tuán)隊(duì)致力于將最新的 AI 研究成果轉(zhuǎn)化為實(shí)際應(yīng)用，他們的工作不僅展示了 Llama3-70B-Instruct 在金融領(lǐng)域的潛在影響，也為其他領(lǐng)域的 AI 應(yīng)用提供了寶貴的見解和方法論。

Llama-3-SEC-Base 模型

Llama-3-SEC-Base 模型代表了一次重要的突破，它是專門為分析美國證券交易委員會(huì)（SEC）數(shù)據(jù)而設(shè)計(jì)的領(lǐng)域特定聊天代理。該模型基于 Meta-Llama-3-70B-Instruct 模型構(gòu)建，繼承了其強(qiáng)大的自然語言處理能力，并通過持續(xù)預(yù)訓(xùn)練（CPT）的方法，融入了大量的 SEC 數(shù)據(jù)，以提升其在金融領(lǐng)域的專業(yè)性和準(zhǔn)確性。

基礎(chǔ)架構(gòu)和訓(xùn)練數(shù)據(jù) Llama-3-SEC-Base 的核心架構(gòu)是建立在 Meta-Llama-3-70B-Instruct 的基礎(chǔ)上，這是一個(gè)具有 70 億參數(shù)的大型語言模型。在訓(xùn)練過程中，模型首先接受了 20 億個(gè)令牌的 SEC 文件數(shù)據(jù)，這是其最終目標(biāo)的 720 億個(gè)令牌數(shù)據(jù)的一個(gè)中間檢查點(diǎn)。此外，為了保持模型對通用語言的理解，研究團(tuán)隊(duì)還將 1 億個(gè)通用數(shù)據(jù)令牌從 Together AI 的 RedPajama 數(shù)據(jù)集中混合進(jìn)來。這種數(shù)據(jù)的混合旨在平衡領(lǐng)域特定知識(shí)和通用語言理解的能力。

SEC 數(shù)據(jù)分析的用例 Llama-3-SEC-Base 在 SEC 數(shù)據(jù)分析中的應(yīng)用廣泛，包括但不限于：

• 深入的投資分析和決策支持，幫助投資者和金融分析師深入理解市場動(dòng)態(tài)和公司財(cái)務(wù)狀況。
• 風(fēng)險(xiǎn)管理和評估，為金融機(jī)構(gòu)提供全面的風(fēng)險(xiǎn)評估工具，以制定有效的風(fēng)險(xiǎn)緩解策略。
• 監(jiān)管合規(guī)性檢查，確保企業(yè)遵守相關(guān)法規(guī)，并識(shí)別潛在的違規(guī)行為。
• 促進(jìn)公司治理透明度，通過分析 SEC 文件，提供關(guān)于公司治理實(shí)踐的深入見解。
• 市場研究和行業(yè)趨勢跟蹤，為市場分析師提供寶貴的數(shù)據(jù)支持，以識(shí)別行業(yè)發(fā)展趨勢和市場機(jī)會(huì)。

評估方法和性能指標(biāo) 為了驗(yàn)證 Llama-3-SEC-Base 的效能，研究團(tuán)隊(duì)采用了一系列領(lǐng)域特定和通用的評估指標(biāo)。領(lǐng)域特定的評估包括困惑度測試，以衡量模型對 SEC 數(shù)據(jù)的處理性能；以及提取式數(shù)值推理任務(wù)，使用 TAT-QA 和 ConvFinQA 數(shù)據(jù)集的子集進(jìn)行測試。通用評估指標(biāo)則包括 BIG-bench、AGIEval、GPT4all 和 TruthfulQA，這些指標(biāo)評估了模型在廣泛任務(wù)上的表現(xiàn)。

洞察圖 1：領(lǐng)域特定困惑度，衡量模型在 SEC 相關(guān)數(shù)據(jù)上的性能。

洞察圖 2：使用 TAT-QA 和 ConvFinQA 數(shù)據(jù)集的子集提取數(shù)值推理任務(wù)。

洞察圖 3：通用評估指標(biāo)，例如 BIG-bench、AGIEval、GPT4all 和 TruthfulQA，用于評估模型在各種任務(wù)上的表現(xiàn)。

評估結(jié)果顯示，Llama-3-SEC-Base 在領(lǐng)域特定性能上取得了顯著提升，同時(shí)在通用能力上也保持了強(qiáng)大的表現(xiàn)。這證明了持續(xù)預(yù)訓(xùn)練和模型合并技術(shù)在提高領(lǐng)域適應(yīng)性方面的有效性，同時(shí)也展示了 Llama-3-SEC-Base 成為金融領(lǐng)域內(nèi)不可或缺工具的潛力。

持續(xù)預(yù)訓(xùn)練（CPT）

在語言模型的領(lǐng)域適應(yīng)預(yù)訓(xùn)練中，持續(xù)預(yù)訓(xùn)練（CPT）是一個(gè)關(guān)鍵的概念，它涉及將新數(shù)據(jù)集從一個(gè)新領(lǐng)域引入到模型中。例如，PMC-LLaMA 是一個(gè)開源的醫(yī)療特定大型語言模型，它結(jié)合了純 CPT 和醫(yī)療特定指令調(diào)整的數(shù)據(jù)中心知識(shí)注入。ChipNeMo 探索了大型語言模型在工業(yè)芯片設(shè)計(jì)中的應(yīng)用，采用領(lǐng)域適應(yīng)性 CPT 方法進(jìn)行適應(yīng)。Arcee 的 CPT 工作包括使用領(lǐng)域特定數(shù)據(jù)集擴(kuò)展基礎(chǔ)模型的訓(xùn)練，如 Llama-2-base 或 Mistral7B-base，這允許我們微調(diào)模型以適應(yīng)專業(yè)領(lǐng)域的細(xì)微差別。

持續(xù)預(yù)訓(xùn)練（CPT）是一種先進(jìn)的技術(shù)，它允許模型在原有知識(shí)的基礎(chǔ)上，通過引入新領(lǐng)域的數(shù)據(jù)來增強(qiáng)其在特定領(lǐng)域的表現(xiàn)。這種方法對于提升大型語言模型（LLMs）的領(lǐng)域適應(yīng)性至關(guān)重要，尤其是在處理復(fù)雜和專業(yè)化數(shù)據(jù)的場景中。

CPT 本質(zhì)上是一種增量學(xué)習(xí)過程，它使得模型能夠在不丟失先前學(xué)習(xí)的知識(shí)的情況下，逐步吸收新的信息。在 Llama3-70B-Instruct 模型中，CPT 被用來專門處理 SEC 數(shù)據(jù)，這是一種高度結(jié)構(gòu)化且含義豐富的金融數(shù)據(jù)。通過 CPT，Llama3-70B-Instruct 能夠更好地理解和生成與 SEC 報(bào)告相關(guān)的文本，從而為金融分析師和投資者提供更深入的洞察。

在 CPT 的實(shí)施過程中，Llama3-70B-Instruct 模型被訓(xùn)練以處理大量的 SEC 文件數(shù)據(jù)。這些數(shù)據(jù)包括了公司的季度和年度報(bào)告、內(nèi)部交易文件、代理聲明等，總共涉及了 720 億個(gè)令牌。此外，為了保持模型的通用性，研究團(tuán)隊(duì)還引入了來自 Together AI 的 RedPajama 數(shù)據(jù)集的 10 億個(gè)通用數(shù)據(jù)令牌。技術(shù)上，CPT 使用了 Megatron-Core 框架，這是一個(gè)支持大規(guī)模并行處理的訓(xùn)練框架。訓(xùn)練是在 AWS SageMaker HyperPod 集群上進(jìn)行的，該集群配備了高性能的 H100 GPU，確保了訓(xùn)練過程的高效和可擴(kuò)展性。

我們的訓(xùn)練在 AWS SageMaker HyperPod 集群上進(jìn)行，該集群由 4 個(gè)節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)都配備了 32 個(gè) H100 GPU。在 CPT 層，我們混合了 700 億個(gè) SEC 數(shù)據(jù)令牌和 Together AI 的 RedPijama 數(shù)據(jù)的 10 億個(gè)通用樣本。我們計(jì)劃在未來發(fā)布更多的檢查點(diǎn)。當(dāng)前的 LM 損失和學(xué)習(xí)率曲線分別在圖 1 和圖 2 中展示。

圖1:LM損失            圖2：學(xué)習(xí)率

CPT 對 Llama3-70B-Instruct 模型的性能產(chǎn)生了顯著的影響。首先它顯著提高了模型在 SEC 數(shù)據(jù)分析任務(wù)上的準(zhǔn)確性和深度。模型在領(lǐng)域特定的困惑度測試中表現(xiàn)出色，顯示出對 SEC 數(shù)據(jù)的深入理解。另外CPT 還增強(qiáng)了模型在提取式數(shù)值推理任務(wù)上的能力，這在金融領(lǐng)域尤為重要。然而CPT 過程中也存在著災(zāi)難性遺忘的風(fēng)險(xiǎn)，即模型可能會(huì)在學(xué)習(xí)新領(lǐng)域知識(shí)的同時(shí)，丟失一些原有的通用語言處理能力。為了緩解這一問題，研究團(tuán)隊(duì)采用了模型合并技術(shù)，將經(jīng)過 CPT 的模型與原始的 Meta-Llama-3-70B-Instruct 模型結(jié)合，以保留模型的通用能力。

CPT 是實(shí)現(xiàn) Llama3-70B-Instruct 模型領(lǐng)域適應(yīng)性的關(guān)鍵步驟，它不僅提高了模型在特定領(lǐng)域的性能，也為如何平衡領(lǐng)域?qū)I(yè)化和通用性提供了有價(jià)值的見解。

?模型合并技術(shù)

模型合并技術(shù)是一種創(chuàng)新的方法，旨在通過整合多個(gè)預(yù)訓(xùn)練模型的知識(shí)來增強(qiáng)單一模型的能力。這種技術(shù)對于解決持續(xù)預(yù)訓(xùn)練（CPT）過程中可能出現(xiàn)的災(zāi)難性遺忘問題至關(guān)重要，尤其是在領(lǐng)域適應(yīng)性方面。

模型合并的核心原理是將不同模型的權(quán)重和特征結(jié)合起來，形成一個(gè)新的、更強(qiáng)大的模型。在 Llama3-70B-Instruct 的情況中，這意味著將專門針對 SEC 數(shù)據(jù)分析進(jìn)行預(yù)訓(xùn)練的模型與通用的 Meta-Llama-3-70B-Instruct 模型相結(jié)合。這樣做的目的是保留原始模型的通用語言處理能力，同時(shí)增加對 SEC 數(shù)據(jù)的專業(yè)理解。

TIES（Tensor Integration and Entanglement Synthesis）是一種流行的模型合并方法，它通過在不同模型之間共享和重新分配權(quán)重來工作。TIES 的優(yōu)勢在于它能夠有效地保留兩個(gè)模型的知識(shí)，同時(shí)減少了因?yàn)槟Ｐ腿萘肯拗贫赡軄G失的信息。然而這種方法也有其局限性，例如在合并過程中可能會(huì)引入一些不相關(guān)的噪聲，或者在某些特定任務(wù)上的性能可能不如單獨(dú)的專業(yè)模型。

模型合并對于提高 Llama3-70B-Instruct 模型的領(lǐng)域適應(yīng)性起到了關(guān)鍵作用。通過合并，模型不僅在 SEC 數(shù)據(jù)分析任務(wù)上表現(xiàn)出色，而且在通用評估指標(biāo)上也保持了穩(wěn)定的性能。這表明模型合并可以有效地緩解 CPT 過程中的災(zāi)難性遺忘問題，使模型能夠在學(xué)習(xí)新領(lǐng)域知識(shí)的同時(shí)保留原有的通用語言處理能力。

模型合并技術(shù)為 Llama3-70B-Instruct 模型的領(lǐng)域適應(yīng)性提供了一種有效的解決方案。它不僅增強(qiáng)了模型在特定領(lǐng)域的性能，還確保了模型在廣泛的任務(wù)上保持了高水平的通用性。這一技術(shù)的成功應(yīng)用為未來在其他領(lǐng)域內(nèi)實(shí)施類似技術(shù)提供了寶貴的經(jīng)驗(yàn)和啟示。

?評估和結(jié)果

對于大型語言模型（LLMs）的評估是一個(gè)復(fù)雜且多維的過程，尤其是當(dāng)模型被設(shè)計(jì)來處理特定領(lǐng)域的數(shù)據(jù)時(shí)。Llama3-70B-Instruct 模型的評估涵蓋了領(lǐng)域特定和通用基準(zhǔn)，以確保其在各個(gè)方面的性能都符合高標(biāo)準(zhǔn)。

為了確保我們模型的穩(wěn)健性，我們在領(lǐng)域特定和通用基準(zhǔn)上進(jìn)行了徹底的評估。領(lǐng)域特定評估對于評估模型在其目標(biāo)領(lǐng)域內(nèi)的性能至關(guān)重要。然而，通用評估同樣重要，以確保模型沒有遺忘其原始能力。在每次評估中，我們比較了以下模型：

1.Llama-70B-Instruct：Meta 發(fā)布的原始指導(dǎo)模型。

2.Llama-70B-CPT：持續(xù)預(yù)訓(xùn)練后的 Llama-70B-Instruct 模型，檢查點(diǎn)在處理 200 億個(gè)令牌后保存。

3.Llama-70B-CPT-Merge：使用 TIES 方法將 Llama-70B-CPT 模型與原始 Llama-70B-Instruct 模型合并。

領(lǐng)域特定困惑度對于評估模型在其目標(biāo)領(lǐng)域內(nèi)的性能至關(guān)重要，確保有效適應(yīng)領(lǐng)域數(shù)據(jù)。跟蹤困惑度的變化有助于評估持續(xù)預(yù)訓(xùn)練和領(lǐng)域特定改進(jìn)的影響。

CPT 降低了與 SEC 數(shù)據(jù)相關(guān)的困惑度，表明模型對這一特定領(lǐng)域的理解和適應(yīng)性有所提高。將 CPT 模型與 Llama3-Instruct 版本合并后，困惑度略有增加，可能是由于重新引入了一些丟失的聊天能力。盡管合并后困惑度略有增加，但最終模型的困惑度仍低于原始模型，表明有效的領(lǐng)域適應(yīng)同時(shí)保留了聊天能力。這表明模型合并并沒有損害在持續(xù)預(yù)訓(xùn)練過程中獲得的注入領(lǐng)域知識(shí)。

對于領(lǐng)域特定評估，我們測試了模型在提取式數(shù)值推理任務(wù)上的性能，即 TAT-QA 和 ConvFinQA 的子集，這些任務(wù)雖然與 SEC 數(shù)據(jù)不完全相關(guān)，但仍然與評估領(lǐng)域特定性能相關(guān)。

對于 ConvFinQA，CPT 后性能明顯提高，并在與指導(dǎo)模型合并后進(jìn)一步提高。對于 TAT-QA，只有在合并后才觀察到顯著改進(jìn)，這可能是由于它在混合表格和文本內(nèi)容方面的專業(yè)化，而這在 SEC 數(shù)據(jù)中的表示較少。對于財(cái)務(wù)分類任務(wù)，模型將文本分類為前提或聲明，CPT 后我們看到了非常顯著的準(zhǔn)確性改進(jìn)，接近完美分?jǐn)?shù)，并表明模型有效地從 SEC 數(shù)據(jù)的無監(jiān)督訓(xùn)練中學(xué)習(xí)新任務(wù)。合并后準(zhǔn)確性有所下降，但仍然遠(yuǎn)高于指導(dǎo)基線。

Llama3-70B-Instruct 模型在領(lǐng)域特定的評估中表現(xiàn)出色，特別是在處理 SEC 數(shù)據(jù)分析任務(wù)時(shí)。模型在困惑度測試中得分低，表明其對金融數(shù)據(jù)的理解深入。在提取式數(shù)值推理任務(wù)上，模型同樣展現(xiàn)了強(qiáng)大的性能，這些任務(wù)包括 TAT-QA 和 ConvFinQA 數(shù)據(jù)集的子集，它們雖然不完全相關(guān)于 SEC 數(shù)據(jù)，但對評估模型在金融領(lǐng)域的表現(xiàn)至關(guān)重要。

在通用基準(zhǔn)上，Llama3-70B-Instruct 經(jīng)過 CPT 和模型合并后，仍然保持了良好的性能。盡管在某些通用評估指標(biāo)上出現(xiàn)了輕微的性能下降，但這主要是由于模型在學(xué)習(xí)新領(lǐng)域知識(shí)時(shí)，必須在保留原有知識(shí)和適應(yīng)新知識(shí)之間找到平衡。

CPT 顯著提高了模型在 SEC 數(shù)據(jù)分析方面的專業(yè)性，但也帶來了災(zāi)難性遺忘的風(fēng)險(xiǎn)。通過模型合并技術(shù)，特別是 TIES 方法，研究團(tuán)隊(duì)成功地將 CPT 模型與原始 Meta-Llama-3-70B-Instruct 模型結(jié)合，這不僅緩解了災(zāi)難性遺忘的問題，還增強(qiáng)了模型在特定領(lǐng)域的性能。

洞察圖 6：在所有通用數(shù)據(jù)集上，CPT 與大量 SEC 領(lǐng)域特定令牌（20B）一起使用，降低了困惑度，表明預(yù)測能力得到了提高。

即使在經(jīng)過廣泛的領(lǐng)域特定訓(xùn)練之后，模型仍然保持對通用領(lǐng)域的熟悉性，這一點(diǎn)從圖表中顯示的通用文本的穩(wěn)定困惑度指標(biāo)中可以看出。這表明 CPT 并沒有降低模型的通用知識(shí)，盡管它可能會(huì)減少某些能力。正如洞察圖 1 所示，我們建議未來的工作可以通過更好的 SFT 適應(yīng)來幫助恢復(fù)模型的指令跟隨能力，利用保留的知識(shí)。

Llama3-70B-Instruct 在多個(gè)任務(wù)上的表現(xiàn)證明了其作為一個(gè)領(lǐng)域特定 AI 聊天代理的有效性。然而仍有改進(jìn)空間，特別是在提高模型對 SEC 數(shù)據(jù)的理解深度和廣度方面。未來的工作可以集中在優(yōu)化 CPT 過程，以及探索更先進(jìn)的模型合并技術(shù)，以進(jìn)一步提高模型的領(lǐng)域適應(yīng)性和減少對通用性能的影響。

總體而言，Llama3-70B-Instruct 模型的綜合評估結(jié)果令人鼓舞，它不僅在領(lǐng)域特定任務(wù)上表現(xiàn)出色，而且在通用任務(wù)上也保持了可靠的性能。這些成果為未來在其他領(lǐng)域內(nèi)實(shí)施類似技術(shù)提供了寶貴的經(jīng)驗(yàn)和啟示，展示了 AI 在領(lǐng)域適應(yīng)性方面的巨大潛力和應(yīng)用前景。

討論

在深入探索 Llama3-70B-Instruct 模型的領(lǐng)域適應(yīng)性和持續(xù)預(yù)訓(xùn)練（CPT）的挑戰(zhàn)時(shí)，我們必須認(rèn)識(shí)到，雖然 CPT 在提高模型對特定領(lǐng)域數(shù)據(jù)的理解方面取得了顯著成果，但它也帶來了災(zāi)難性遺忘的風(fēng)險(xiǎn)。這種遺忘現(xiàn)象可能導(dǎo)致模型在吸收新知識(shí)的同時(shí)喪失原有的通用語言處理能力。因此，如何在增強(qiáng)模型的領(lǐng)域?qū)I(yè)性與保持其通用性之間找到平衡，成為了一個(gè)關(guān)鍵的研究課題。

模型合并技術(shù)，尤其是 TIES 方法，為這一挑戰(zhàn)提供了一個(gè)有效的解決方案。通過將經(jīng)過 CPT 的模型與原始的 Meta-Llama-3-70B-Instruct 模型結(jié)合，不僅保留了模型的通用能力，還增強(qiáng)了其在 SEC 數(shù)據(jù)分析領(lǐng)域的專業(yè)性。這種方法的成功應(yīng)用表明，模型合并可以作為一種強(qiáng)大的工具，用于在不犧牲通用性的前提下提升模型的領(lǐng)域適應(yīng)性。

未來的工作方向應(yīng)該集中在進(jìn)一步優(yōu)化對齊方法和數(shù)據(jù)處理層。對齊方法，如監(jiān)督式微調(diào)（SFT）、直接偏好優(yōu)化（DPO）和人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），可以幫助模型更準(zhǔn)確地理解和執(zhí)行特定領(lǐng)域的任務(wù)。同時(shí)，改進(jìn)數(shù)據(jù)處理層，特別是在數(shù)據(jù)過濾和選擇方面的方法，將有助于模型更有效地處理大規(guī)模的領(lǐng)域特定數(shù)據(jù)集，同時(shí)減少災(zāi)難性遺忘的風(fēng)險(xiǎn)。

Llama3-70B-Instruct 模型的領(lǐng)域適應(yīng)性和持續(xù)預(yù)訓(xùn)練的挑戰(zhàn)突顯了在 AI 領(lǐng)域中不斷追求平衡的重要性。模型合并技術(shù)的成功實(shí)踐為未來的研究提供了寶貴的經(jīng)驗(yàn)，而對齊方法和數(shù)據(jù)處理層的持續(xù)改進(jìn)將進(jìn)一步推動(dòng)領(lǐng)域特定 AI 聊天代理的發(fā)展。（END）

參考資料

1. https://arxiv.org/pdf/2406.14971

2. https://huggingface.co/arcee-ai/Llama-3-SEC-Base

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS