FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning

一、 一眼概覽

FedDAT提出了一種創(chuàng)新的雙適配器教師框架（Dual-Adapter Teacher, DAT），結(jié)合參數(shù)高效微調(diào)和互知識(shí)蒸餾，解決了多模態(tài)異構(gòu)聯(lián)邦學(xué)習(xí)（FL）中的數(shù)據(jù)異構(gòu)性問(wèn)題，并在多個(gè)視覺(jué)-語(yǔ)言任務(wù)基準(zhǔn)上取得了最優(yōu)表現(xiàn)。

二、核心問(wèn)題

如何在多模態(tài)聯(lián)邦學(xué)習(xí)環(huán)境中，在數(shù)據(jù)異構(gòu)性和通信預(yù)算限制下，實(shí)現(xiàn)基礎(chǔ)模型的高效分布式微調(diào)，以提升視覺(jué)-語(yǔ)言任務(wù)的性能，是本研究的核心問(wèn)題。

三、 技術(shù)亮點(diǎn)

1. 雙適配器教師框架 (DAT)：引入凍結(jié)的全局適配器和本地優(yōu)化適配器，以同時(shí)捕獲客戶端無(wú)關(guān)知識(shí)和客戶端特定知識(shí)，從而緩解數(shù)據(jù)異構(gòu)性問(wèn)題。

2. 互知識(shí)蒸餾 (MKD)：通過(guò)雙向蒸餾在全局和本地適配器間高效傳遞知識(shí)，防止遺忘并增強(qiáng)泛化能力。

3. 跨基準(zhǔn)任務(wù)驗(yàn)證：在多種數(shù)據(jù)異構(gòu)類型（視覺(jué)、文本、任務(wù)）基準(zhǔn)上驗(yàn)證，表現(xiàn)出優(yōu)越的收斂速度和擴(kuò)展性。

四、方法框架

FedDAT的核心方法框架如下：

1. 全局適配器初始化：服務(wù)器初始化共享適配器，并在每輪通信后更新全局參數(shù)。

2. 客戶端局部?jī)?yōu)化：

? 使用雙適配器（本地適配器+凍結(jié)的全局適配器）捕獲客戶端特定和無(wú)關(guān)知識(shí)。

? 通過(guò)互知識(shí)蒸餾（MKD）在全局適配器和雙適配器之間進(jìn)行知識(shí)交換。

3. 聯(lián)邦聚合：每輪通信后，通過(guò)加權(quán)平均整合各客戶端的全局適配器參數(shù)。

五、實(shí)驗(yàn)結(jié)果速覽

FedDAT在4個(gè)多模態(tài)FL基準(zhǔn)上表現(xiàn)出顯著優(yōu)越性：

? 在Domain基準(zhǔn)上，F(xiàn)edDAT相較現(xiàn)有最佳方法Adapter，平均準(zhǔn)確率提升 4.55%。

? 在Function、Scene、Task基準(zhǔn)上，分別實(shí)現(xiàn)最高 6.02%、7.94%、1.09% 的提升。

? 通過(guò)通信輪次分析，F(xiàn)edDAT在僅完成 25%通信預(yù)算 時(shí)已取得明顯性能優(yōu)勢(shì)。

六、實(shí)用價(jià)值與應(yīng)用

FedDAT在實(shí)際應(yīng)用中具有重要價(jià)值，尤其適用于以下場(chǎng)景：

1. 醫(yī)療領(lǐng)域：隱私敏感環(huán)境下的跨機(jī)構(gòu)協(xié)作模型優(yōu)化。

2. 工業(yè)制造：數(shù)據(jù)分布不一致的多工廠質(zhì)量檢測(cè)。

1. 3. 多模態(tài)智能：視覺(jué)與文本結(jié)合的復(fù)雜任務(wù)，例如視覺(jué)問(wèn)答（VQA）。

七、開(kāi)放問(wèn)題

1. 若加入更大規(guī)模的客戶端或多模態(tài)任務(wù)，F(xiàn)edDAT的性能是否能保持穩(wěn)定？

2. 互知識(shí)蒸餾機(jī)制在其他FL應(yīng)用中（如時(shí)間序列分析）是否同樣適用？

3. 在極端數(shù)據(jù)異構(gòu)性（如領(lǐng)域遷移任務(wù)）下，DAT框架的泛化能力是否受限？

其他

? 論文的官方期刊或會(huì)議來(lái)源:https://ojs.aaai.org/index.php/AAAI/article/view/29007

? 注：所有免費(fèi)資料獲取鏈接：https://link3.cc/soragpt