基于多模态模型的模型评估方法

本发明公开了一种基于多模态模型的模型评估方法，其特征在于：包括如下步骤：步骤一，构建训练数据集；步骤二，根据步骤一构建的训练数据集搭建多模态模型；步骤三，建立损失函数，该损失函数根据不同评估层次设计，以确保多模态模型在各个层次上都能得到有效的训练；步骤四，输入多模态数据至大语言模型内进行模型推理，以生成最终的评估结果。本发明的基于多模态模型的模型评估方法，提出一种基于多模态模型的模型评估方法，以更好地评估LLMs在科学知识上的掌握和应用能力。