一种视觉问答系统的实现方法

本发明公开了一种视觉问答系统的实现方法，包括：获取知识库，基于原始训练数据集中包含的与每一张图片相关的问题文本对所述知识库进行检索，获得检索增强后的问题增强文本描述数据；以及将原始训练数据集中的图片数据集结合相应的文本提示通过多模态大模型进行数据增强，获得所述多模态大模型输出的增强数据；基于所述问题增强文本描述数据、增强数据和原始训练数据集进行模态融合，以对问答系统模型进行训练。本发明中，由于其使用了检索增强的方法来增强与图片数据相关的图片文本数据，相较于传统的问答模型，模型的可学习的内容更加全面更加准确，可以有效地提升模型的性能。