1、LLM訓(xùn)練的隱秘危機(jī)：1%的合成數(shù)據(jù)或致模型崩潰  

在LLM快速發(fā)展的今天，一個(gè)令人擔(dān)憂的現(xiàn)象正悄然出現(xiàn)——模型崩潰。研究發(fā)現(xiàn)，即便在訓(xùn)練數(shù)據(jù)中僅包含1%的合成數(shù)據(jù)，也可能導(dǎo)致LLM模型性能嚴(yán)重下降，無(wú)論如何增加訓(xùn)練數(shù)據(jù)量都無(wú)法提升效果。    

更令人意外的是，增加模型規(guī)模這一當(dāng)前廣泛采用的方法，非但不能緩解問(wèn)題，反而可能加劇模型崩潰。研究團(tuán)隊(duì)通過(guò)理論分析和實(shí)驗(yàn)證明，在某些情況下，更大的模型可能會(huì)放大這種崩潰效應(yīng)。這一發(fā)現(xiàn)對(duì)目前流行的"越大越好"的LLM訓(xùn)練理念提出了挑戰(zhàn)。

有趣的是，研究還指出，當(dāng)模型達(dá)到"插值閾值"后（這個(gè)閾值對(duì)于超大數(shù)據(jù)集可能非常高），增大模型規(guī)模可能會(huì)在一定程度上緩解崩潰現(xiàn)象，盡管無(wú)法完全避免。這一理論預(yù)測(cè)在語(yǔ)言模型和圖像處理神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)中得到了驗(yàn)證。    

這項(xiàng)研究為L(zhǎng)LM領(lǐng)域敲響了警鐘：我們需要重新審視數(shù)據(jù)質(zhì)量對(duì)模型訓(xùn)練的影響，特別是在合成數(shù)據(jù)日益普及的今天。它也為未來(lái)LLM的設(shè)計(jì)和訓(xùn)練提供了新的思路，提醒我們?cè)谧非蟾笠?guī)模的同時(shí)，也要關(guān)注數(shù)據(jù)的真實(shí)性和代表性。在LLM競(jìng)賽日益激烈的今天，這份研究無(wú)疑為從業(yè)者們提供了寶貴的見(jiàn)解。

論文標(biāo)題：Strong Model Collapse

論文鏈接：??https://arxiv.org/abs/2410.04840??   

2、大語(yǔ)言模型的"內(nèi)心戲"：LLM比你想象的更聰明，卻在"裝傻"？ 

最新研究揭示，大語(yǔ)言模型（LLMs）可能比我們想象的更聰明，但它們似乎在"裝傻"。即使在LLM產(chǎn)生錯(cuò)誤或"幻覺(jué)"時(shí)，其內(nèi)部表征仍然編碼了大量關(guān)于真實(shí)性的信息。這一發(fā)現(xiàn)顛覆了我們對(duì)LLM錯(cuò)誤的傳統(tǒng)認(rèn)知。

研究團(tuán)隊(duì)通過(guò)一系列實(shí)驗(yàn)發(fā)現(xiàn)，LLM的真實(shí)性信息集中在特定的詞元上，利用這一特性可以顯著提高錯(cuò)誤檢測(cè)性能。然而，這種錯(cuò)誤檢測(cè)器難以在不同數(shù)據(jù)集間泛化，暗示真實(shí)性編碼并非普遍性的，而是多方面的。更令人驚訝的是，研究發(fā)現(xiàn)LLM的內(nèi)部表征與外部行為之間存在明顯差異：模型可能在內(nèi)部編碼了正確答案，卻一致地生成錯(cuò)誤回答。

這項(xiàng)研究不僅深化了我們對(duì)LLM錯(cuò)誤的理解，還為未來(lái)的錯(cuò)誤分析和緩解策略指明了方向。它揭示了LLM的內(nèi)部"知識(shí)"可能比其外部表現(xiàn)更豐富，這一發(fā)現(xiàn)可能徹底改變我們?cè)O(shè)計(jì)和優(yōu)化LLM系統(tǒng)的方式。

面對(duì)這個(gè)LLM似乎在"明知故犯"的現(xiàn)象，我們不禁要問(wèn)：如何才能充分發(fā)揮LLM的潛力，讓它們"知行合一"？這個(gè)問(wèn)題不僅關(guān)乎技術(shù)，更涉及到LLM的可信度和未來(lái)發(fā)展方向。隨著研究的深入，我們或許能找到讓LLM更好地展現(xiàn)其內(nèi)在智慧的方法，推動(dòng)人工智能向更可靠、更透明的方向發(fā)展。

論文標(biāo)題：LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

論文鏈接：??https://arxiv.org/abs/2410.02707??

本文轉(zhuǎn)載自 ??AI帝國(guó)??，作者： 無(wú)影寺