即插即用提示驱动的可见光-热红外图像语义分割方法及系统

本发明涉及多模态图像融合感知与场景理解技术领域，特别涉及一种即插即用提示驱动的可见光‑热红外图像语义分割方法及系统，通过双分支LoRA微调图像编码器分别提取输入的可见光图像和热红外图像的特征表示；将现有可见光‑热红外图像语义分割模型生成的分割掩膜转化为统一的提示信息，包括边界框提示或点提示；利用提示编码器将提示信息编码为提示嵌入；基于提示的掩码解码器通过空间通道交叉注意机制将图像特征表示和提示嵌入特征融合，经过分类头生成最终的分割掩码；在训练阶段，对真值掩码的提示添加参数化随机扰动，模拟预测提示的误差分布。本发明实现无需重新训练即可适配多种分割模型的高精度语义分割，显著提升复杂场景下的分割鲁棒性。