一种实现遥感图像细粒度视觉感知的多模态大语言模型

本发明提供一种实现遥感图像细粒度视觉感知的多模态大语言模型，包括：共享视觉编码模块，含两个功能互补视觉编码器，分别接收进行下采样后不同分辨率图像进行编码，并按照通道维度连接得到集成的多尺度视觉特征图。同时，将视觉提示分别输入至两个功能互补的视觉编码器，得到编码后的视觉提示；模态对齐映射层，用于将多尺度特征图以及编码后的视觉提示转换到语言语义空间，得到映射后的视觉以及视觉提示；文本分词器模块，用于将文本指令转换为向量嵌入；大语言模型解码器，用于接收映射图像token、视觉提示token以及文本指令嵌入，生成模型响应序列。本发明为细粒度的多模态大语言模型在遥感领域的研究和应用提供了简单可行的办法。