基于动态路径感知与跨层级自蒸馏的多模态图像识别方法

本发明公开了一种基于动态路径感知与跨层级自蒸馏的多模态图像识别方法。本发明提出了两个创新点：(1)本发明提出了双动态自蒸馏框架，自适应选择蒸馏层与蒸馏路径。引入层间动态知识选择模块，包含层间动态学生知识选择模块与层间动态教师知识选择模块，提高跨层级知识传递能力。引入层内动态蒸馏路径选择，动态选择主模态对齐蒸馏和概率分布知识蒸馏路径。(2)本发明提出了模态质量感知融合模块利用模态间能量不确定性评估策略动态校正模态内特征权重，充分挖掘模态间的互补性和相关性。