摘要
本申请公开了一种基于大模型微调的遥感跨模态检索方法及系统,方法包括:S1、将获取的遥感图像和/或描述文本输入到经过训练的遥感图像文本检索网络中进行处理得到跨模态融合后的图像特征和/或文本特征;S2、基于图像特征和/或文本特征获取与遥感图像和/或描述文本相匹配的文本和/或图像进行输出;步骤S1包括:通过图像文本编码器从遥感图像和/或描述文本中提取初始图像特征和/或初始文本特征;通过跨模态非对称适配器对初始图像特征和/或初始文本特征进行跨模态融合处理得到跨模态融合后的图像特征和/或文本特征;通过双任务一致性损失函数对图像特征和/或文本特征进行优化处理。
技术关键词
跨模态检索方法
文本编码器
适配器
图像编码器
注意力机制
输入模块
非线性
语义
终端设备
多层感知机
视觉
网络
输出模块
可读存储介质
存储器
处理器
系统为您推荐了相关专利信息
融合时空特征
卷积模块
辅助诊断方法
注意力机制
生理
服务器组件
图像识别模型
融合特征
识别方法
检测识别模块
强化学习框架
注意力机制
节点
面向多智能体
编码器
三角形
算法
顶点
Pearson相关系数
长短期记忆网络