一种基于跨维度多光谱边缘融合的图像语义分割方法

本发明公开了一种基于跨维度多光谱边缘融合的图像语义分割方法。先，构建了基于分层注意力的双边多模态融合编码器，提取RGB图像和热红外图像中的低级和高级特征；其次，引入边缘检测分支(即跳跃边缘引导结构)，加强对全局语义信息的利用；最后，设计了面向多个损失函数的深度监督机制，对具有多个损失函数的网络进行监督。本发明提出的方法，将RGB图像和热红外图像作为输入，综合考虑动态交通场景下低级和高级特征之间的各种属性和相互作用，通过融合语义和边缘特征、解决信息丢失等问题，实现了复杂光照条件下RGB‑热红外图像的准确、鲁棒语义分割。