基于協作式語義專家的語言模型微調(AAAI 2025)
原創
摘要近年來,大型語言模型(LargeLanguageModels,LLMs)的快速發展拓寬了其應用范圍,但同時也暴露出在平衡通用知識、代碼生成與數學推理能力方面存在挑戰。為解決這一問題,本文提出一種適用于監督微調(SupervisedFineTuning,SFT)的協作式語義專家(CollaborativeandSemanticExperts,CoE)方法,該方法采用兩階段訓練策略。第一階段為專家訓練階段,在特定數據集上對前饋網絡(FeedForwardNetwork,FFN)進行微調,培養針對特...