一种边缘增强与空域频域特征融合的多模态语义分割方法

本发明涉及计算机视觉技术领域，尤其涉及一种边缘增强与空域频域特征融合的多模态语义分割方法，包括，两个模态多尺度边缘增强与特征融合、对两个模态张量进行不同频段的特征提取、增强、抑制和交互，完成空域和频域特征的融合交互。本发明通过拉普拉斯算子进行边缘提取，通过多尺度边缘增强以及不同尺度自适应权重融合和不同模态边缘特征融合，动态调整了不同模态和尺度的贡献，实现边缘特征强调；针对频域特征被忽略导致分割精度受限的问题，采用空域频域两步融合的方法，在空域注意力权重矩阵计算时的添加频域进行融合和空域、频域注意力矩阵最终融合，实现了空域与频域特征的充分交融与不同模态之间特征的交叉互补。