經過2023年的發展，大語言模型展示出了非常大的潛力，訓練越來越大的模型成為有效性評估的一個關鍵指標，論文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis》中，作者全面分析了微調大語言模型(llm)及其在金融情緒分析中的零樣本和少樣本的能力。

作者通過使用兩種方法來探索金融情緒分析背景下的潛力和適用性:

• 在特定的領域（金融領域）的數據集上，使用小語言模型進行微調，作者測試了250M到3B參數各種模型
• 以gpt-3.5 turbo為重點的情境學習

作者還將結果與SOTA(最先進的)模型進行比較以評估其性能，我們看看小模型是否還同樣有效。

論文證明了以下觀點:

• 微調較小的llm可以達到與SOTA微調llm相當的性能。
• 零樣本和少樣本學習的的性能與經過微調的小型llm相當。
• 增加上下文學習中的樣本數量并不一定會提高情感分析任務的性能。
• 微調較小的llm會降低成本和提高計算效率。

作者專注于使用QLoRa (Quantized low - rank - adaptive)機制對FLAN-T5模型進行微調。使用財務特定數據集，研究了3種尺寸:Flan-T5 base (250M)， Flan-T5 large (780M)和Flan-T5-xl (3B參數)。

論文概述

論文首先總結了特定于金融領域的SOTA模型:

• FinBERT:使用總計4.9B Token組的金融通信語料庫進行微調的BERT。
• bloomberg ggpt:這是一個包含50B個參數的閉源模型，專門針對各種金融數據進行訓練。它在情感分析中表現出良好的性能。
• 使用LLama-7B對FinGPT進行微調。該模型使用更少的計算資源實現了與bloomberg ggpt相當的性能。
• ChatGPT這樣的llm也可以使用零樣本學習。但是他們在少樣本學習中表現并不理想

作者使用了以下模型：

1、沒有進行任何微調:Flan-T5 base (250M)， Flan-T5 large (780M)， Flan-T5-xl (3B參數)，ChatGPT (gpt-3.5 turbo)。目標是研究模型的大小對零樣本和少樣本學習的影響。

2、微調llm:具有3個尺寸的相同型號的Flan-T5已經進行了微調。

數據集

使用了Twitter財經新聞(Twitter Train)，包括與金融主題相關的推文，可通過HuggingFace訪問。它包含9540個樣本。

TFSN: 2390個帶有注釋的財經相關推文語料庫樣本。

FPB: 4845篇金融新聞文章樣本，由16位領域專家注釋。

GPU資源

為了對3個模型進行微調，作者使用了A100 GPU，每個模型的總訓練時間如下:基本模型28分鐘，大模型54分鐘，XL模型65分鐘，所以說這個微調是非常節省資源的。

微調小型LLMs

結果顯示了經過微調的小型llm優于大型llm的性能:

所有Fine-tuned-FLAN-T5的性能都優于FinBERT；Large (780M)和XL(3B) fine - tuning - flan - t5性能優于directive - lama- 7b；在TFSN數據集中，即使是基礎(250M)微調的flan - t5也比使用ChatGPT (gpt-3.5 turbo)的k-shot上下文學習表現更好。

少樣本學習

以下是0 -shot和k-shot學習的結果(k= 1,5和10):

在TFSN數據集上，零樣本和少樣本學習的表現明顯低于所有其他微調模型。(除了XL，表現比FinBert稍好)

但是在FPB數據集中，與ChatGPT相比，Large和XL Flan-T5零樣本和少樣本學習表現出較強的性能。

樣本的增加使得基本型Flan-T5的性能略有提升。但在Large和XL fall - t5中，這導致精度下降。這是因為冗長的上下文窗口可能會導致LLM誤入歧途。

所以作者建議，當k-shot增加時可以使用語義相似檢索或思維鏈(CoT)或線索和推理提示(CARP)方法來解決性能下降的問題。

總結

可以看到，針對特定的領域，微調小模型還是能過夠得到很好的效果，這在對于我們實際應用是是非常有幫助的，不僅可以節省成本，還可以節省我們的訓練時間，可以讓我們進行快速的版本迭代。

論文地址：https://arxiv.org/pdf/2312.08725.pdf