基于对比-生成式预训练模型的遥感问答系统

本发明公开了基于对比‑生成式预训练模型的遥感问答系统，首先搜集分类、语义分割、目标检测、图文检索和图像文本生成等任务的遥感图像作为原始数据，并统一转换为图文对形式。通过分割处理计算类别面积占比，检测目标类别及其位置信息，并通过CLIP模型进行零样本分类。接着，将多源信息输入多模态大语言模型，根据问题生成图像的文本描述，完成遥感全局视觉问答数据集的构造。同时，基于标注框裁切图片并送入多模态大语言模型，以获得遥感局部视觉问答数据集。然后，分由粗到精两阶段预训练对比‑生成式模型，使其具备全局‑局部级遥感知识与视觉问答能力。最后通过构建用户友好的系统界面，实现与用户的问答交互。