基于大语言模型的输出一致性评测方法和装置

本发明提供一种基于大语言模型的输出一致性评测方法和装置，涉及大模型置信度评估技术领域，所述方法包括：获取原始问题，将所述原始问题输入至大语言模型中，得到原始答案；通过自然语言处理生成所述原始答案的多个候选干扰项；其中，所述候选干扰项为：与所述原始答案相似的答案信息；基于所述原始答案以及预设数量的所述候选干扰项，生成所述原始问题对应的目标单选题；基于所述原始问题对应的所述目标单选题对所述大语言模型进行预设次数的验证，得到验证结果，并基于所述验证结果对所述大语言模型的输出一致性进行评测。通过本发明提供的方法，准确判断大语言模型的输出一致性。