基于知识蒸馏和动态融合机制的多模态情感分析方法及系统

本发明提供一种基于知识蒸馏和动态融合机制的多模态情感分析方法，包括预训练单模态教师模型；利用单模态教师模型指导多模态学生模型学习，并通过交互式知识蒸馏机制，将教师模型的中间层概率分布作为目标，学习模态间相关性和跨模态特性；交互式知识蒸馏包括三个损失函数：首先，计算教师模型和学生模型的输出层输出分布的差异，定义为跨模态知识蒸馏损失；其次，加入基于真实标签的对齐损失，以交叉熵形式约束学生模型的预测结果接近真实情感标签；最后，引入标签平滑损失软化真实标签。本发明保存预训练的具有较好表现的单模态教师模型，用于指导多模态学生模型学习，同时引入损失函数优化多模态学生模型，使其逐渐对齐教师模型的输出分布，同时增强其对模态异质性的适应能力。单模态教师模型大幅度降低模型复杂度，减少计算量，在多模态情感分析领域有较好表现。