一种面向均衡模态的联邦大小模型协同任务增强方法

本发明公开了一种面向均衡模态的联邦大小模型协同任务增强方法，包括：获取本地数据集；基于所述本地数据集，对服务器侧数据进行增强，获取增强数据集；基于所述增强数据集，更新用户侧小模型；基于所述用户侧小模型，更新大模型调节器，所述大模型调节器用于和小模型进行知识双向蒸馏；根据所述大模型调节器和所述增强数据集，对服务器侧调节器和本地适配器进行更新。本发明能够解决在采用联邦学习进行大小模型协同训练过程中所面临的一系列关键问题，包括用户侧数据分布不一致(非独立同分布)、大小模型之间知识交互效率低以及多模态数据利用不均衡等。