一种多模态特征融合的遥感图像描述方法

本发明公开了一种多模态特征融合的遥感图像描述方法，包括三个步骤：S1提取特征：通过ResNet‑152提取场景级特征，YOLOv8提取对象级特征，通过对比学习进行优化；S2特征增强：提取特征经过图注意力网络和多头注意力机制处理，结合CLIP特征进行增强；S3模型训练：将特征代入transformer中，进行多次训练以增强准确性；S4图像描述，代入遥感图像并最终生成精确的描述。本发明提主要针对现有遥感图像描述技术在复杂环境下难以充分捕捉多尺度、多类型目标的语义信息、难以实现图像与文本描述之间高效对齐，以及对目标识别与描述精度要求不断提高等难题而设计。该方法致力于解决在遥感图像分析中，多样化场景信息、细粒度目标特征以及文本描述的语义一致性不足等问题。