摘要
本发明公开了一种基于Mamba适配器与共享提示增强的遥感图像文本检索方法及装置,包括基于多模态适配器与共享提示的CLIP增强网络;通过在CLIP主干模型中引入基于Mamba结构的模态专属适配器,增强对遥感图像长距离空间特征及文本语义关联的建模能力,以此增强对遥感图像主体的聚焦能力;同时,提出动态提示融合模块,基于预训练CLIP提取图像与文本的初始提示特征向量,经投影生成模态专属动态提示,结合可学习的共享提示矩阵,构建融合模态内特征与跨模态交互信息的复合提示向量,并注入CLIP的12层Mamba适配器中,引导模型优化跨模态对齐。本发明通过Mamba适配器提升遥感特征提取效率,结合动态提示实现模态内外信息协同,显著提高遥感图像‑文本检索的精度与泛化性。
技术关键词
适配器
文本检索方法
特征提取网络
特征提取模块
深层特征提取
线性
图像特征提取
文本检索装置
文本特征向量
多模态
图像特征向量
特征提取器
生成遥感图像
跨模态
标记
图像主体
系统为您推荐了相关专利信息
自动执行系统
区块链技术
区块链智能合约技术
可信硬件
沙箱环境
攻击检测方法
XGBoost模型
数据
皮尔逊相关系数
特征提取模块
曝光校正方法
特征提取模型
融合特征
相位特征
图像提取模块