論文地址：SpikedrivenTransformerV2:MetaSpikingNeuralNetworkArchitectureInspiringtheDesignofNextgenerationNeuromorphicChips代碼地址：??https:github.comBICLabSpikeDrivenTransformerV2??背景在神經形態芯片上運行脈沖神經網絡（SpikingNeuralNetwork，SNN）的神經形態計算，是類腦計算領域的主流發展方向。CNNbasedSNN是神經形態計算領域內的主流架構，幾乎所有的神經形態芯片都支持這一架構。最近，Transformerba...

論文標題：MMLLMs:RecentAdvancesinMultiModalLargeLanguageModels論文鏈接：??https:arxiv.orgabs2401.13601??實時網站：??https:mmllms.github.io??引言多模態(MM)預訓練研究在最近幾年取得了顯著進展，持續推動了各種下游任務的性能邊界。然而，隨著模型規模和數據集的不斷擴大，傳統的多模態模型在從頭開始訓練時會產生大量的計算成本。考慮到多模態研究處于各種模態的交集，一個合理的方法是利用現成的預訓練單模...

這篇論文提出了一種新的聯邦推薦算法FedRAP。FedRAP在聯邦學習框架中同時針對用戶信息和項目信息實施雙邊個性化策略，以此來增強推薦系統在隱私保護和個性化推薦方面的表現。它通過逐步提高正則化權重，平滑地從全面個性化過渡到加性個性化。同時，FedRAP還引入了對全局項目嵌入進行稀疏化處理的策略，有效降低了通信開銷。論文標題：FederatedRecommendationwithAdditivePersonalization論文鏈接：??https:arxiv.orgabs2301....

LoRA(LowRankAdaptation)是當前LLM的參數高效微調手段之一，此前我們在《梯度視角下的LoRA：簡介、分析、猜測及推廣》也有過簡單討論。這篇文章我們來學習LoRA的一個新結論：給LoRA的兩個矩陣分配不同的學習率，LoRA的效果還能進一步提升。該結論出自最近的論文《LoRA+:EfficientLowRankAdaptationofLargeModels》[1](下稱“LoRA+”)。咋看之下，該結論似乎沒有什么特別的，因為配置不同的學習率相當于引入了新的超參數，通常來...

來自騰訊的研究者們做了一個關于agent的scalingproperty（可拓展性）的工作。發現：通過簡單的采樣投票，大語言模型（LLM）的性能，會隨著實例化agent數量的增加而增強。其第一次在廣泛的場景下驗證了該現象的普遍性，與其他復雜方法的正交性，以及研究了其背后的原因，并提出進一步促成scaling發揮威力的辦法。論文標題：MoreAgentsIsAllYouNeed論文地址：??https:arxiv.orgabs2402.05120???代碼地址：??https:github.c...