一种面向异构边缘设备的个性化多模态联邦学习方法

一种面向异构边缘设备的个性化多模态联邦学习方法，属于联邦学习领域，在多模态联邦学习场景下，云服务器初始化模型和协作图，并将初始模型发送给各客户；为了解决模态数量异构问题，本发明将多模态模型网络的训练分为两个阶段，阶段1进行单模态客户与多模态客户联邦训练；阶段2进行多模态客户个性化联邦训练。在阶段1中解耦多模态模型，使单模态客户和多模态客户能够在它们的共有模态上协作，提高模态特征提取网络的泛化性和鲁棒性。本发明设计了一种基于图的个性化多模态FL，可精确地适应不同的模态侧重和模态数据异构水平，通过动态更新云服务器上的协作图和优化客户端的个性化模型，权衡了个性化效用和协作效益。