一种基于对齐增强融合的联邦多模态学习方法

本发明提供的一种基于对齐增强融合的联邦多模态学习方法，包括：利用各客户端的特征编码器对本地多模态数据进行特征提取和维度对齐，得到投影特征；基于投影特征生成融合特征并构建伪标签集合；在各客户端分两阶段进行本地训练：第一阶段，利用本地无标签多模态数据对特征编码器进行自监督对比学习预训练；第二阶段，利用本地有标签多模态数据和伪标签集合对完成预训练的特征编码器进行监督对比学习，得到训练完毕的本地特征编码器；在云端对各客户端的本地特征编码器参数进行聚合并更新全局特征编码器，将更新后的全局特征编码器参数下发至各客户端。本发明解决了联邦学习环境下多模态数据融合中的有标签数据稀缺、数据异构性和隐私保护问题。