基于内存增强和软掩膜的多波段图像自动描述方法

本发明涉及图像描述方法和图像融合方法，尤其涉及多波段图像自动描述方法，具体为基于内存增强和软掩膜的多波段图像自动描述方法。将可见光图像特征、红外图像特征以及文本特征置于同一表征层级，在传统Transformer的基础上，构建内存增强模块用于存储多波段图像特征间的内在相关性以及语言上下文信息；同时，利用软掩膜机制筛选有效的视觉特征向量以及内存中存储的特征向量，以确保模型精确聚焦于关键视觉信息或语言上下文信息，可用于安防监控和军事侦察等复杂场景理解。