一种基于生成对抗与样本优化的视觉问答方法及系统

本发明提供了一种基于生成对抗与样本优化的视觉问答方法及系统，涉及视觉问答技术领域，所述方法包括：获取视觉问答任务中的问题和图像；将问题和图像输入训练好的视觉问答模型中，得到视觉问答结果；其中，视觉问答模型基于生成器构建偏差模型，将随机噪声向量转化为与图像特征表示相同维度的偏差特征，并根据输入的问题与偏差特征生成偏差答案向量；基于判别器区分答案的真假；通过生成器和判别器的交替训练，使偏差模型的答案分布逼近目标模型的答案分布；以最大化视觉问答模型对正确答案的预测概率为目标，联合训练生成对抗网络和视觉问答模型。本发明能够提升模型的多模态推理能力。