基于混合聚合的单轮联邦学习多模态模型训练方法和装置

本发明公开了一种基于混合聚合的单轮联邦学习多模态模型训练方法和装置，首先进行本地训练阶段，在客户端上对本地模型进行训练，将本地模型更新信息和最后训练输出的概率分布上传到服务器，然后由服务器通过浅层神经网络得到各个客户端本地模型对应的权重，然后进行加权聚合得到全局模型，并将全局模型作为教师模型，将客户端最后训练输出的概率分布对应的数据特征输入到教师模型，得到教师模型输出的概率分布，然后计算蒸馏损失，更新客户端本地模型的参数。本发明在单轮学习场景下提升模型精度，并减少通信成本，不仅能在多客户端环境下充分利用本地数据，还能有效提高全局模型的准确性和鲁棒性。