一种针对图像融合和语义分割的协同优化方法

本发明属于图像处理技术领域，具体涉及一种针对图像融合和语义分割的协同优化方法，包括构建编码器、用于图像融合任务的解码器、用于语义分割任务的解码器，所有解码器共享编码器输出的数据，在训练过程中，将用于图像融合任务的解码器的输出分别与用于语义分割任务的解码器输出以及该输出对应的标签拼接，将拼接后的两个向量的一致性作为损失函数之一优化解码器和所有编码器的网络参数。本发明利用基于深度学习的框架，能够有效学习来自不同模态数据的多维特征，同时通过任务间内在一致性的挖掘，实现多任务的协同优化，从而达到更优的图像融合与语义分割效果。