一种基于二部图匹配的视觉问答方法及设备

本申请公开了一种基于二部图匹配的视觉问答方法及设备，涉及图像处理技术领域，该方法包括：构建问题特征向量、关键字图和场景图；利用图注意力网络确定关键字图节点特征和场景图节点特征；基于关键字图节点特征和场景图节点特征，利用匈牙利算法确定场景图主效应节点特征和场景图负作用节点特征；利用多模态融合策略，将问题特征向量分别与场景图节点特征、场景图主效应节点特征和场景图负作用节点特征进行融合，得到多个联合特征；将多个问题特征向量输入到分类器中，得到问题的预测概率分布。本申请通过确定场景图主效应节点特征和场景图负作用节点特征，提高视觉问答模型的鲁棒性。