ProMoE-FL：基于原型条件的专家混合用于缺失模态的多模态联邦学习
英文标题：ProMoE-FL: Prototype-conditioned Mixture of Experts for Multimodal Federated Learning with Missing Modalities
本文解决多模态联邦学习中模态缺失的问题。现有的方法依赖额外的公共数据集或仅根据可用模态进行简单的特征合成。作者提出 ProMoE‑FL，通过原型条件化的专家混合，在客户端本地利用原型指导缺失模态的特征重建，无需共享公共数据，显著提升联邦学习的泛化性能。该方案在保护隐私的前提下有效处理模态缺失，对物联网、医疗等跨设备多模态应用场景具有重要参考价值。
打开原文相关 2.4 · 机会 0
2.6 KB
2.1 KB
640 B
612 B
380 B
9.1 KB
22.8 KB
24.2 KB
34.7 KB
中文
ProMoE-FL：基于原型条件的专家混合用于缺失模态的多模态联邦学习
论文标题：ProMoE-FL: Prototype-conditioned Mixture of Experts for Multimodal Federated Learning with Missing Modalities
摘要
本文解决多模态联邦学习中模态缺失的问题。现有方法要么使用额外的公开数据集，要么仅基于可用模态进行简单的特征合成。为解决这些局限，我们提出 ProMoE‑FL，一种基于原型条件的专家混合框架。在客户端本地训练时，该方法利用从完整模态中提取的类别原型来引导缺失模态的特征重建，无需依赖任何公共数据。实验结果表明，ProMoE‑FL 在多种模态缺失场景下显著优于现有基线方法，有效提升了联邦模型的泛化能力和鲁棒性。
BibTeX formatted citation
（原文未提供具体引文内容）
English / 原文
BibTeX formatted citation
×