一种多模态图表问答大模型的评价测试方法、介质及设备

本发明涉及大模型评测领域，特别是涉及一种多模态图表问答大模型的评价测试方法、介质及设备。包括：将判断类测试数据集，输入待评测大模型，以获取判断类模型输出结果。判断类问答对中的问题信息包括对问题本体文本及对回答信息只能是正面或反面信息的提示信息。将所有填空类模型输出结果、选择类模型输出结果及判断类模型输出结果的准确性信息进行统计，生成待评测大模型的执行评价信息。本发明中鉴于多模态大模型对指令的遵循可能存在潜在的变异性，所以在针对低阶任务性能的评价中，使用的指令类型包括从正面和负面角度提出的判断题、填空题和选择题三种题型来对待评测模型进行提问，由此来更加全面的对待评测大模型进行评测。