基于语义信息的多光谱与全色图像融合方法、装置及设备

本申请涉及计算机视觉与深度学习技术领域，特别涉及一种基于语义信息的多光谱与全色图像融合方法、装置及设备，其中，方法包括：获取图像数据集和图像数据集的目标文本描述；提取图像数据集中多光谱图像与全色图像以及目标文本描述的语义特征；将多光谱图像、全色图像和语义特征输入图像融合网络，图像融合网络输出图像融合结果，图像融合网络对多光谱图像和全色图像进行多尺度图像特征提取，在每个尺度下将语义特征与待融合图像特征进行交互，利用语义引导图像融合。由此，解决了现有技术未考虑不同地物类型之间空间与光谱权重的差异且在语义层面关注图像的高级特征，导致算法在跨地物的应用中效果难以泛化、实际中模型难以有效使用等问题。