一种多模态联邦学习方法、客户端、服务器和系统

本发明实施例提供的一种多模态联邦学习方法、客户端、服务器和系统，具有以下有益效果：通过设置客户端原始数据集，部署局部模型；提取各模态类别词元，由类别词元和相应融合表示构建局部原型；利用局部原型替代缺失模态数据，构建任务校准的任务损失，训练局部模型；将局部模型和局部原型发送至服务器，以使服务器加权计算全局模型和全局原型；接收服务器发送的全局模型和全局原型，将全局模型和全局原型分别替代局部模型和局部原型，至全局模型收敛。本发明利用表征原型作为缺失模态的掩码，弥补模态信息的缺失，制定了任务校准训练损失，设计了与模型无关的模态不完整时的推理策略，有效处理多模态缺失问题，具有良好的通用性。