摘要
本发明提供了一种遥感场景图引导的语义信息推理方法,可应用于遥感图像处理技术领域。该方法包括:对遥感图像进行分割,生成场景分割图;执行目标检测,生成图像块集合;对图像全局特征及图像块集合进行细粒度解析,生成场景描述文本;进行语法解析,提取物体、物体属性及物体间关系信息的三元组,生成与问题相关的遥感场景图;将问题文本编码为嵌入向量并投影至视觉特征空间,经冻结自注意力层和可学习门控层处理,输出图像‑文本交互特征;与问题编码特征经注意力融合及双重门控平衡,输出场景图引导的文本编码;融合交互特征与文本编码,推理目标区域的局部语义信息。本发明还提供了一种遥感场景图引导的语义信息推理装置、设备及介质。
技术关键词
交互特征
场景类别
生成场景
图像分割模型
图像全局特征
三元组
图像块
语义
编码特征
注意力
视觉特征
物体
推理方法
文本编码器
推理装置
遥感图像处理技术