摘要
本发明公开了一种针对中文大语言模型毒性和偏见的评估方法,包括:获取中文毒性语言数据集;采用中文毒性API进行判断毒性和偏见;确定评估模型的指标,其中,所述指标包括:毒性,偏见和回避率;利用所述中文毒性语言数据集对中文大语言模型进行毒性,偏见和回避程度的评估,从而获取评估结果。该方法提出了一个与测评数据集和模型无关通用评估框架TisEval,可应用于广泛的数据集和模型,该框架来评估大语言模型的毒性和偏见,是首个从毒性和偏见的角度对中文大语言模型进行了全面、系统的研究评估。
技术关键词
大语言模型
数据
指标
语句
众包方法
关键字
框架
比率
标签
系统为您推荐了相关专利信息
仿真系统
车载全景相机
无人机倾斜摄影
高分辨率卫星
曲面重建算法
径流
水文
机器学习模型
预测模型训练
强化学习模型
微观结构特征
铝型材
一致性检测
复合核函数
X射线设备
数据处理子系统
智能检测系统
种质资源
融合方法
数据采集子系统