一种多模态模型性能评估方法、装置、设备及存储介质

本发明公开了一种多模态模型性能评估方法、装置、设备及存储介质，其方法包括：获取摄像头图片数据，其中，摄像头图片数据包括文本数据、图像数据和音频数据；根据图片指令获取真实结果文本，以及将摄像头图片数据和测试指令输入待测试的多模态模型中，得到推理结果文本；根据推理结果文本和真实结果文本分别对文本数据、图像数据和音频数据进行评估，并分别得到文本融合结果、图像评估结果和音频评估结果；采用MLP算法进行融合，输出最终的评估结果。本发明通过对多模态模型文本数据、图像数据和音频数据进行评估，得到不同评估结果，再对不同评估结果进行融合，输出最终的评估结果，实现多模态模型的自动化评估。