基于两阶段微调多模态模型的遥感小样本图像分类方法

本发明公开了基于两阶段微调多模态模型的遥感小样本图像分类方法，涉及小样本图像分类技术领域；该方法包括以下步骤：构建遥感小样本图像分类数据集；构建多模态模型微调框架，采用多模态图文对比预训练模型作为多模态模型的微调框架；第一阶段引入结构先验知识，利用对称交叉熵损失对多模态模型的图像编码器和文本编码器进行对比微调；第二阶段修改多模态模型结构，增加全连接层线性分类头且对分类头参数进行微调；应用微调后的多模态模型进行遥感图像分类任务。本发明利用多模态模型的优势，结合模型微调引入结构先验知识的方法，增强了多模态模型的全局信息理解能力和泛化性，更好地适用遥感领域的小样本分类任务。