論文地址：SpikedrivenTransformerV2:MetaSpikingNeuralNetworkArchitectureInspiringtheDesignofNextgenerationNeuromorphicChips代碼地址：??https:github.comBICLabSpikeDrivenTransformerV2??背景在神經(jīng)形態(tài)芯片上運(yùn)行脈沖神經(jīng)網(wǎng)絡(luò)（SpikingNeuralNetwork，SNN）的神經(jīng)形態(tài)計(jì)算，是類腦計(jì)算領(lǐng)域的主流發(fā)展方向。CNNbasedSNN是神經(jīng)形態(tài)計(jì)算領(lǐng)域內(nèi)的主流架構(gòu)，幾乎所有的神經(jīng)形態(tài)芯片都支持這一架構(gòu)。最近，Transformerba...

論文標(biāo)題：MMLLMs:RecentAdvancesinMultiModalLargeLanguageModels論文鏈接：??https:arxiv.orgabs2401.13601??實(shí)時(shí)網(wǎng)站：??https:mmllms.github.io??引言多模態(tài)(MM)預(yù)訓(xùn)練研究在最近幾年取得了顯著進(jìn)展，持續(xù)推動(dòng)了各種下游任務(wù)的性能邊界。然而，隨著模型規(guī)模和數(shù)據(jù)集的不斷擴(kuò)大，傳統(tǒng)的多模態(tài)模型在從頭開始訓(xùn)練時(shí)會(huì)產(chǎn)生大量的計(jì)算成本。考慮到多模態(tài)研究處于各種模態(tài)的交集，一個(gè)合理的方法是利用現(xiàn)成的預(yù)訓(xùn)練單模...

這篇論文提出了一種新的聯(lián)邦推薦算法FedRAP。FedRAP在聯(lián)邦學(xué)習(xí)框架中同時(shí)針對(duì)用戶信息和項(xiàng)目信息實(shí)施雙邊個(gè)性化策略，以此來增強(qiáng)推薦系統(tǒng)在隱私保護(hù)和個(gè)性化推薦方面的表現(xiàn)。它通過逐步提高正則化權(quán)重，平滑地從全面?zhèn)€性化過渡到加性個(gè)性化。同時(shí)，F(xiàn)edRAP還引入了對(duì)全局項(xiàng)目嵌入進(jìn)行稀疏化處理的策略，有效降低了通信開銷。論文標(biāo)題：FederatedRecommendationwithAdditivePersonalization論文鏈接：??https:arxiv.orgabs2301....

LoRA(LowRankAdaptation)是當(dāng)前LLM的參數(shù)高效微調(diào)手段之一，此前我們?cè)凇短荻纫暯窍碌腖oRA：簡介、分析、猜測及推廣》也有過簡單討論。這篇文章我們來學(xué)習(xí)LoRA的一個(gè)新結(jié)論：給LoRA的兩個(gè)矩陣分配不同的學(xué)習(xí)率，LoRA的效果還能進(jìn)一步提升。該結(jié)論出自最近的論文《LoRA+:EfficientLowRankAdaptationofLargeModels》[1](下稱“LoRA+”)。咋看之下，該結(jié)論似乎沒有什么特別的，因?yàn)榕渲貌煌膶W(xué)習(xí)率相當(dāng)于引入了新的超參數(shù)，通常來...

來自騰訊的研究者們做了一個(gè)關(guān)于agent的scalingproperty（可拓展性）的工作。發(fā)現(xiàn)：通過簡單的采樣投票，大語言模型（LLM）的性能，會(huì)隨著實(shí)例化agent數(shù)量的增加而增強(qiáng)。其第一次在廣泛的場景下驗(yàn)證了該現(xiàn)象的普遍性，與其他復(fù)雜方法的正交性，以及研究了其背后的原因，并提出進(jìn)一步促成scaling發(fā)揮威力的辦法。論文標(biāo)題：MoreAgentsIsAllYouNeed論文地址：??https:arxiv.orgabs2402.05120???代碼地址：??https:github.c...