基于Mamba适配器与共享提示增强的遥感图像文本检索方法及装置

AITNT
正文
推荐专利
基于Mamba适配器与共享提示增强的遥感图像文本检索方法及装置
申请号:CN202510307454
申请日期:2025-03-14
公开号:CN120144816A
公开日期:2025-06-13
类型:发明专利
摘要
本发明公开了一种基于Mamba适配器与共享提示增强的遥感图像文本检索方法及装置,包括基于多模态适配器与共享提示的CLIP增强网络;通过在CLIP主干模型中引入基于Mamba结构的模态专属适配器,增强对遥感图像长距离空间特征及文本语义关联的建模能力,以此增强对遥感图像主体的聚焦能力;同时,提出动态提示融合模块,基于预训练CLIP提取图像与文本的初始提示特征向量,经投影生成模态专属动态提示,结合可学习的共享提示矩阵,构建融合模态内特征与跨模态交互信息的复合提示向量,并注入CLIP的12层Mamba适配器中,引导模型优化跨模态对齐。本发明通过Mamba适配器提升遥感特征提取效率,结合动态提示实现模态内外信息协同,显著提高遥感图像‑文本检索的精度与泛化性。
技术关键词
适配器 文本检索方法 特征提取网络 特征提取模块 深层特征提取 线性 图像特征提取 文本检索装置 文本特征向量 多模态 图像特征向量 特征提取器 生成遥感图像 跨模态 标记 图像主体
系统为您推荐了相关专利信息
1
数字人驱动模型生成方法、装置、电子设备及存储介质
视频 标记 语音特征 面部特征 序列
2
一种基于区块链技术的智能合约自动执行系统及方法
自动执行系统 区块链技术 区块链智能合约技术 可信硬件 沙箱环境
3
一种基于模态分解与极致梯度提升的虚假数据注入攻击检测方法
攻击检测方法 XGBoost模型 数据 皮尔逊相关系数 特征提取模块
4
一种视频物联网环境下曝光校正方法和装置
曝光校正方法 特征提取模型 融合特征 相位特征 图像提取模块
5
一种物联网设备分类方法、装置及电子设备
设备特征 分类特征 分类设备 分类方法 简化特征
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号