摘要
本发明公开了针对大语言模型安全性能的通用评估方法;包括如下步骤:S1、收集数据集;S2、收集大语言模型;S3、构建知识图谱;S4、对大语言模型进行微调;S5、制定阈值和评分规则;S6、生成测评数据;S7、对大语言模型进行测评;S8、分析大语言模型性能;本发明的评估方法不局限于某个环境、大模型的参数量以及大模型的功能,可以全面的评估任何大模型,即通过安全性评估的模型对待检测大语言模型的问答输出进行评估,领域测评数据是动态生成的,特定领域测评数据对待测大语言模型进行输出问答数据,并且领域测评数据独立于待测大语言模型的训练数据集,测评使用的数据集质量同时测评难以作弊,保证了测评结果的鲁棒性。
技术关键词
大语言模型
构建知识图谱
专用数据集
实体
生成知识图谱
梯度下降算法
关系
答案
自然语言
场景
数据存储
鲁棒性
格式
动态
系统为您推荐了相关专利信息
伪影消除方法
感知损失函数
注意力机制
建筑
组合式
实体
知识图谱构建方法
三元组
关系
知识图谱构建装置
数据访问请求
数据脱敏方法
脱敏策略
终端位置
风险