一种基于高阶知识增强的海洋遥感视觉问答方法

本发明属于视觉问答技术领域，公开了一种基于高阶知识增强的海洋遥感视觉问答方法，包括：步骤S1、提取单模态特征；步骤S2、提取多模态特征：利用跨模态局部约束注意力生成高阶的跨模态特征，并输入关注选择块，得到多模态特征；步骤S3、提取知识增强实体关联表示：通过知识增强实体关联模块识别图像‑问题对中的视觉和文本实体，并采用知识相关性推理策略来学习知识增强的实体表示，然后对实体融合获得知识增强实体关联表示；步骤S4、生成视觉问答结果：将步骤S2生成的多模态特征与步骤S3生成的知识增强实体关联表示连接起来形成生成答案的表示。通过本发明可以有效提取上下文图像‑问题对信息，生成准确的视觉问答结果。