一种弥补模态缺失的多模态联邦学习方法及相关设备

本申请涉及多模态数据技术领域，提供了一种弥补模态缺失的多模态联邦学习方法及相关设备，该方法包括：从所有目标客户端中确定出缺失客户端；对缺失客户端的模态的数据进行特征提取，得到数据特征，对所有数据特征进行融合得到最终融合特征，并提取缺失客户端的模态的数据的时间特征，对所有时间特征进行融合得到最终时间特征，基于最终融合特征和最终时间特征，获取缺失模态的数据；将目标客户端和获取缺失模态的数据后的缺失客户端均作为最终客户端，利用最终客户端的所有模态的数据对每个模态模型进行训练，得到训练后的模态模型；将所有训练后的模态模型进行整合得到多模态模型。本申请的方法能够提高多模态模型的质量。