基于跨模态知识蒸馏的异构模型对齐方法及系统

本申请实施例提供一种基于跨模态知识蒸馏的异构模型对齐方法及系统，方法包括：通过分析多模态数据的模态特征，将各模态特征映射至同一个向量空间中，根据对比学习算法对向量空间进行特征对齐得到跨模态特征；根据跨模态特征训练教师模型，构建学生模型，对教师模型和学生模型进行结构差异分析，根据分析后的结构差异点进行模型映射，确定经过模型映射后的教师模型和学生模型；将教师模型中间层的输出特征作为中间层知识表示，根据教师模型中间层和学生模型中间层之间的差异构建损失函数，根据中间层知识表示和损失函数进行知识蒸馏得到目标模型，根据目标模型进行跨模态数据识别，本申请能够提高多模态数据处理的效率和准确性。