摘要
本申请涉及一种基于视觉语言实例融合的细粒度遥感目标检测方法及装置。所述方法包括:根据视觉编码器提取遥感图像特征,通过语言编码器提取类别嵌入特征;将目标实例和遥感图像特征输入视觉语言实例融合模块中通过实例特征提取器,得到视觉实例特征并存入实例特征内存区;对实例特征内存区中存储的平均实例特征进行更新,将类别嵌入特征和视觉平均实例特征输入视觉语言融合层进行交互和融合,根据交互融合后的特征更新实例特征内存区中存储的实例特征;根据视觉语言深度增强编码器对遥感图像特征和交互融合后的特征进行增强,将增强后的遥感图像特征和类别嵌入特征输入检测头,得到检测结果。采用本方法能够实现对细粒度目标更准确检测。
技术关键词
遥感图像特征
嵌入特征
检测网络模型
语言编码器
检测头
特征提取器
内存
注意力
文本
跨模态
分支
数据获取模块
矩阵
视觉特征
线性