一种基于多任务协同学习的多模图像融合识别方法及系统

本发明公开了一种基于多任务协同学习的多模图像融合识别方法及系统，本发明方法包括将多模图像输入预先训练好的多模图像融合识别网络进行图像识别以获得多模图像融合识别结果，包括：通过编码器提取得到多个不同分辨率的特征图；通过图像融合网络提取对应模态的特征图并提取图像融合权重，将图像融合权重和相应模态的原始图像进行元素相乘操作后相加以生成融合图像；通过权重引导的特征融合模块基于图像融合权重进行权重引导的特征融合以获取不同分辨率的融合特征；通过语义分割解码器解码得到多模图像融合识别结果。本发明旨在实现紧密结合多模态图像融合与分割以同时提升各自的性能，从而实现对感兴趣目标位置的准确估计和类别的精确识别。