"是我創造了第一個LLM"！Kaggle前首席科學家一句話引發AI學術圈考古行動
論如何在技術圈爭論中一句話噎到對方：
哥們，是我創造了第一個大語言模型。
發言者Jeremy Howard為澳大利亞昆士蘭大學名譽教授、曾任Kaggle創始總裁和首席科學家，現answer.ai與fast.ai創始人，。
事情的起因是有人質疑他最近的項目llms.txt在幫助大模型爬取互聯網信息上并沒太大作用，從而引發了這段爭論，迅速引起眾人圍觀。
聞訊而來的“賽博考古學家們”一番考據之后，發現第一個大語言模型這個說法還真有理有據：
2018年初，Jeremy Howard發表的論文ULMFiT，使用非監督預訓練-微調范式達到當時NLP領域的SOTA。
甚至GPT-1的一作Alec Radford，在發表GPT-1時也公開承認過ULMFiT是靈感來源之一。
有人搬出綜述論文，指出從“遺傳學”視角看，ULMFiT是所有現代大模型“最后的共同祖先”。
還有好事者軟件工程師Jonathon Belotti，專門寫了一篇完整考據《誰才是第一個大語言模型》
大語言模型起源考據
首先來介紹一下ULMFiT這篇論文，入選ACL 2018：
提出有效遷移學習方法，可應用于NLP領域的任何任務，并介紹了微調語言模型的關鍵技術，在六個文本分類任務上的表現明顯優于當時的SOTA方法，在大多數數據集上將錯誤率降低了18-24%。此外，僅使用100個帶標簽的示例，它的性能就與在100倍以上數據上從頭開始訓練的模型性能相當。
那么ULMFit算不算第一個大語言模型呢？Jonathon Belotti考據遵循這樣的思路：
首先找一個大家都公認肯定算大語言模型的成果，GPT-1肯定符合這個標準。
再從GPT-1和后續GPT-2、GPT-3中提取一個模型成為成為大語言模型的標準：
- 首先要是一個語言模型，根據輸入預測人類書面語言的組成部分，不一定是單詞，而是token
- 核心方法是自監督訓練，數據集是未標記的文本，與此前特定于任務的數據集有很大不同
- 模型的行為是預測下一個token
- 能適應新的任務：不需要架構修改，就有few-shot甚至one-shot能力
- 通用性：可以先進的性能執行各種文本任務，包括分類、問答、解析等
接下來分析GPT-1引用的幾個重要模型：原版Transformer，CoVe，ELMo和ULMFiT。
Transformer雖然是現代主流大模型的架構基礎，但原版只用于機器翻譯任務，還不夠通用。同時非Transformer架構如LSTM、Mamba甚至Diffusion也可被視作大型語言模型。
CoVE提出了語境化詞向量，是遷移學習領域的一項重要創新，但它通過監督學習訓練（英語翻譯德語）創建向量，不符合自監督學習的條件。
ELMo使用了自監督預訓練和監督微調范式，但在few-shot能力上還差點意思。
總之在作者Jonathon Belotti看來，CoVE和ELMo都還沒達到大語言模型的門檻。
最后再來看ULMFiT，其名字代表在文本分類任務微調的通用語言模型（Universal Language Model Fine-tuning for Text Classification）。
它是一個在WikiText數據上自監督訓練的LSTM模型，能夠以低成本適應新任務，無需更改架構即可執行大量文本分類任務，且達到當時的SOTA性能。
與GPT-1相比，只差在微調不夠方便，以及應用任務的廣度。
GPT-1論文原文中，也指出“最接近我們工作的”就是ULMFiT與谷歌的半監督序列學習（Semi-supervised Sequence Learning）了。
GPT-1論文還聲稱，把LSTM換成Transformer后能拓展預訓練模型的預測能力，比ULMFit任務適應性更高。
考據者Jonathon Belotti最后總結到：
成為第一重要么？我認為有一點重要。軟件行業和學術界尊重其創始人，我們都是開源社區中構建開拓智域文化（homesteads the noosphere）的一部分。
而Jeremy Howard本人對此的后續回應是我們創造了第一個“通用語言模型”，但后續論文沒有沿用，反而創造了“大型語言模型”這個新術語。
蘋果工程師Nathan Lawrence認為，雖然今天大家對誰是第一個LLM可能存在爭議，但最終大家都會把ULMFiT視為一個轉折點。
當時即使我這樣的懷疑論者，也快開始意識到大規模通用訓練將成為NLP的未來。
也有人建議Jeremy Howard以后說ULMFit是第一個“通用預訓練模型”。
“我發明了ChatGPT中的GP”，這句話說起來也很酷，一點也不夸張。
ULMFit
https://arxiv.org/abs/1801.06146
GPT-1
https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
