摘要
本发明公开了一种针对大语言模型幻觉现象的指令遵循数据筛选方法及装置,涉及人工智能领域,方法包括针对任一指令,抽取该任一指令对应的回复得到回复集合;检测所述回复集合中回复的语义一致性,得到嵌入空间中语义一致性检测分值;对所述回复集合中的回复进行聚类得到语义簇,并对所述任一指令对应的目标回复与回复集合中的回复进行语义等同性检测后,确定所述目标回复所属的目标语义簇;基于所述目标语义簇中生成的回复的数量与生成的全部回复的数量确定第二分值;基于所述语义一致性检测分值和所述第二分值筛选出任一指令对应的指令遵循数据。通过内部状态一致性检测、语义等同性检测来对指令遵循数据进行筛选,筛选出的高质量指令遵循数据。
技术关键词
一致性检测
数据筛选方法
语义
大语言模型
指令
数据筛选装置
协方差矩阵
聚类
自然语言
计算机
可读存储介质
特征值
关系
系统为您推荐了相关专利信息
网络流量数据
计算方法
链路
网络设备管理协议
强化学习算法