LLM的下一戰(zhàn):從狂卷數(shù)據(jù)到精算數(shù)據(jù)
大模型競爭的核心,正從比拼數(shù)據(jù)規(guī)模,轉(zhuǎn)向比拼數(shù)據(jù)的使用效率和風(fēng)險(xiǎn)管理。今天分享2025兩篇最新的論文,剛好把一賽道一次性講透:《ASurveyonEfficientLargeLanguageModelTraining:FromDatacentricPerspectives》《ASurveyonUnlearninginLargeLanguageModels》一個(gè)講怎么“吃得更少但更好”,另一個(gè)講怎么“消化后還能吐掉有害的”,本質(zhì)上都是數(shù)據(jù)管理的精細(xì)化。賽道痛點(diǎn)代表技術(shù)高效訓(xùn)練數(shù)據(jù)太貴、標(biāo)注太慢、邊際收益遞減數(shù)...