视觉问答多模态大模型建立方法和装置

本发明实施例提出视觉问答多模态大模型建立方法和装置。方法包括：A1、获取第一训练数据集，每一条训练数据包括：至少一训练图像、一复杂提示词和一最佳回答；复杂提示词包括问题，还包括背景文本、约束指令二者中的至少之一；A2、从第一训练数据集中抽取一条训练数据，将该条训练数据中的图像和复杂提示词输入待训练的视觉问答多模态大模型，视觉问答多模态大模型输出预测回答；根据预测回答和该条训练数据中的最佳回答，计算损失值；采用损失值对视觉问答多模态大模型的参数进行调整；返回步骤A2，直至达到训练结束条件。本发明实施例提高了视觉问答的准确度。