一种面向模态不完整场景的多模态联邦学习方法及系统

本发明公开了一种面向模态不完整场景的多模态联邦学习及系统，具体包括：具有一致模态的客户端被分组成一个集群，并根据集群类别分发相应的模型；客户端训练本地模型并执行原型对比学习，将本地原型集及本地模型传输到中央服务器；在中央服务器上，执行集群分步聚合，以推导出多模态全局模型、单模态全局模型；在中央服务器上，执行全局原型聚合，以推导出全局原型集；中央服务器将多模态全局模型、单模态全局模型和全局原型集分发到各个本地客户端，迭代循环直至模型收敛。通过本公开的方案，有效解决了在不完整模态场景下异构客户端之间的知识共享和协作学习问题，提高了模型训练的效果。