大模型数据标注方法、装置、设备、介质及产品

本申请公开了一种大模型数据标注方法、装置、设备、介质及产品，通过对待分类任务的输入文本和提示词进行语法变换，生成多样化的大模型输入，从不同角度考察大模型的标注一致性，从而更准确地评估模型的评估结果。通过多个预训练语言模型对多种输入版本进行标注，从而更全面地评估大模型对输入的理解和标注能力。通过获取每个标签的置信分数，可以反映不同大模型对不同标注结果的可信程度，这种量化指标的方式使得模型的决策过程更加透明，从而提高预训练语言模型在数据标注任务中的可靠性，增强了用户对预训练语言模型标注结果的信任。