摘要
本说明书涉及大语言模型技术领域,提供了一种评估模型的偏差识别方法、训练方法、评分方法及设备;偏差识别方法中,输入至评估模型的数据包含:待评分内容以及评分辅助信息,评估模型在评分辅助信息的提示下,输出待评分内容的评分分数;方法包括:对预设的原始数据进行扰动,生成扰动数据;扰动包括:在保持评分辅助信息对评估模型的提示语义不变的前提下,变更原始数据中评分辅助信息的描述形式;将扰动数据输入至评估模型,获取评估模型输出的当前评分分数;根据扰动数据的当前评分分数以及对应于原始数据的预设评分分数,确定评估模型是否存在评分偏差。本实施例能够准确识别出评估模型是否存在评分偏差,还能够减轻评估模型的评分偏差。
技术关键词
数据
偏差
评分方法
答案
标识
识别方法
基准
语义
标签
处理器
大语言模型
指令
计算机程序产品
指标
可读存储介质
电子设备
存储器