FedMIR：一种融合缺失模态插值和分布感知路由的多模态联邦学习方法 熊宏宇、戴明

《Sensors》：FedMIR: Multimodal Federated Learning with Missing Modality Imputation and Distribution-Aware Routing Hongyu Xiong and Ming Dai

　　

摘要

现有的多模态联邦学习方法通常假设所有模态数据都是可用的，并且难以处理训练数据与测试数据分布之间的异质性，这使得它们不适合处理物联网（IoT）等分布式学习场景中的缺失模态数据或分布漂移问题。为了解决这些挑战，我们提出了FedMIR，这是一种新颖的多模态联邦学习框架。我们的主要发现是，異質模態可以映射到一个共享的语义空间中，在这个空间中可以有效地建模跨模態的依赖关系。基于这一洞察，FedMIR利用对比学习在共享的潜在空间中对齐图像和文本模態，并采用条件生成技术来重建缺失的模態表示。然后，这些重建的表示会根据估计的分布状态通过一个专家组合模型（mixtures-of-experts）进行处理。FedMIR仅与服务器共享模型参数和分布统计信息。这种设计使模型能够在缺少某些模態数据的情况下运行，并能够适应性地分配专家知识以应对分布漂移。我们在存在数据异质性和缺失数据的条件下，通过联邦图像-文本检索基准测试验证了FedMIR的有效性，结果表明其性能优于其他代表性的联邦学习方法。