基于单模态监督的双层质量感知的可信多模态融合方法

本发明提供了一种基于单模态监督的双层质量感知的可信多模态融合方法，分别在特征层面和模态层面进行动态建模，根据特征和模态质量动态融合多模态数据，并引入图注意网络和结构引导的特征聚合模块来获得结构保留的全局紧凑特征表示，同时利用基于单模态监督的对比学习算法使无效模态向有效模态对齐。本发明的基于单模态监督的双层质量感知的可信多模态融合方法减少了噪声特征和模态对模型性能的负面影响，实现了更强的特征抽取能力，加强了模态间的关系，提高了模型分类的准确性和决策的可信度。