一种基于对象感知和上下文对比学习的LVM引导的红外和可见光图像融合方法

一种基于对象感知和上下文对比学习的LVM引导的红外和可见光图像融合方法，属于图像融合处理技术领域。本发明构建特征交互融合网络并设计特征交互融合块，在突出显示特定于模态的对象的同时，保留全局空间信息。提出SAM引导掩码生成器，利用文本驱动的目标检测模型获取完整的检测框，并用作SAM中的框提示符。对于具有内容信息的多模态任务中的对比学习，构建上下文空间来计算样本之间的距离。为了向上下文空间提供更具内聚性的样本，设计特征交互融合网络，战略性地优先考虑关键特征，同时捕获复杂的模态间关系，通过特征交互融合块突出显示与上下文相关的信息。本发明能在巩固融合图像中突出对象的完整性的同时，也保留场景信息。