大语言模型的评测方法、装置、设备和存储介质

本申请一个或多个实施例提供一种大语言模型的评测方法、装置、设备和存储介质，该方法包括：获取包含与目标任务对应的提示、由第一大语言模型基于提示执行目标任务得到的第一执行结果、由第二大语言模型基于提示执行目标任务得到的第二执行结果的样本；获取由标注方根据第一执行结果和第二执行结果的优劣比较结果，针对样本标注的标注评测结论；将样本输入至少一个第三大语言模型，以由各个第三大语言模型基于样本，对第一执行结果和第二执行结果进行优劣比较，并根据优劣比较结果生成与样本对应的模型评测结论；将标注评测结论和模型评测结论汇总为与样本对应的总评测结论；其中，评测结论用于指示第一执行结果和第二执行结果的优劣比较结果。