针对大语言模型安全性能的通用评估方法

AITNT
正文
推荐专利
针对大语言模型安全性能的通用评估方法
申请号:CN202411855909
申请日期:2024-12-17
公开号:CN119989354A
公开日期:2025-05-13
类型:发明专利
摘要
本发明公开了针对大语言模型安全性能的通用评估方法;包括如下步骤:S1、收集数据集;S2、收集大语言模型;S3、构建知识图谱;S4、对大语言模型进行微调;S5、制定阈值和评分规则;S6、生成测评数据;S7、对大语言模型进行测评;S8、分析大语言模型性能;本发明的评估方法不局限于某个环境、大模型的参数量以及大模型的功能,可以全面的评估任何大模型,即通过安全性评估的模型对待检测大语言模型的问答输出进行评估,领域测评数据是动态生成的,特定领域测评数据对待测大语言模型进行输出问答数据,并且领域测评数据独立于待测大语言模型的训练数据集,测评使用的数据集质量同时测评难以作弊,保证了测评结果的鲁棒性。
技术关键词
大语言模型 构建知识图谱 专用数据集 实体 生成知识图谱 梯度下降算法 关系 答案 自然语言 场景 数据存储 鲁棒性 格式 动态
系统为您推荐了相关专利信息
1
基于多尺度空间注意力机制的单幅建筑图像反射伪影消除方法及系统
伪影消除方法 感知损失函数 注意力机制 建筑 组合式
2
一种事件知识图谱构建方法、装置和电子设备
实体 知识图谱构建方法 三元组 关系 知识图谱构建装置
3
一种数据脱敏方法及相关设备
数据访问请求 数据脱敏方法 脱敏策略 终端位置 风险
4
问答方法、设备和存储介质
互联网 编码特征 音频编码 视频编码 网络
5
一种检索文档嵌入特征的处理方法和装置
嵌入特征 大语言模型 标签文本 输入端 执行主体
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号