基于文本引导语义感知的红外与可见光图像融合方法及系统

本发明公开了基于文本引导语义感知的红外与可见光图像融合方法及系统，涉及图像融合技术领域；利用语义分割的参考图像获取文本提示,利用结构相同但是参数独立的编码器分别获取源图像的特征。在编码器与解码器之间,提出语义对应对齐模块,获取与文本特征相关的丰富的特征表示,以此缩小文本与图像模态之间的差距。在解码器阶段,提出了语义调制模块,充分实现文本与图像之间的交互,并结合浅层特征,实现纹理细节与高级语义信息的有效结合,最终生成语义丰富、细节完整的融合图像，本发明在语义一致性和感知质量方面显著提升了融合图像的整体质量。