视觉语言融合的无人机航拍图像开放词汇语义分割方法

本发明公开了一种视觉语言融合的无人机航拍图像开放词汇语义分割方法，其涉及多模态人工智能技术领域。本方法基于多种注意力机制、多层次融合模块、动态调整机制，构建了视觉语言融合分割模型，确保了复杂场景下对已知与未知类别的航拍图像实现高精度、鲁棒性的分割效果；利用VIT、Mamba模型提取全局图像信息、局部图像细节，并采用自适应加权融合实现全局与局部特征的动态平衡，使用可变形卷积对局部结构进行强化，保证整体场景语义的准确表达；利用异构跨模态图融合模型整合更远距离的跨模态语义关系，不断融合来自视觉、文本以及领域知识的多维信息。