基于联邦学习的多模态通专模型协同训练方法

本申请实施例提供一种基于联邦学习的多模态通专模型协同训练方法，通过接收待检索数据，提取待检索数据的数据特征，并基于数据特征建立多模态数据索引；基于多模态数据索引，通过注意力机制处理数据特征，并得到融合数据特征；将融合数据特征输入至检索通用模型，通过检索通用模型的知识提取层对融合数据特征进行知识提取，得到通用知识表示；将通用知识表示输入至检索专用模型，基于检索专用模型处理通用知识表示，得到待检索数据对应的检索结果，并基于检索结果调整检索通用模型的通用模型参数和检索专用模型的专用模型参数。该方法有效解决了难以有效融合多模态异构数据方面的不足，显著提升模型的泛化能力。