摘要
本发明公开了一种基于多维度可靠性评估的大模型知识迭代增强方法。该方法对于经过垂直领域文本数据集训练的预增强模型,进行多维度可靠性评估。根据模型响应将测试数据样本分为正确回答样本、据答样本和幻觉样本。统计各类样本的数量占总测试样本数的比例,作为模型的准确率、拒答率和幻觉率。若模型准确率高于阈值,将当前模型作为最终知识增强模型,若准确率低于阈值,则正确回答样本和拒答样本构建混合数据集,对预增强模型进行拒答能力强化微调,然后进一步使用拒答样本和幻觉样本扩展知识边界,得到知识增强模型。并对知识增强模型进行多维度可靠性评估,直至当前模型的准确率高于阈值时,完成对大模型知识迭代增强。
技术关键词
样本
答案
三元组
语义
聚类
基准
逻辑
数据
计算机
度函数
标记
可读存储介质
索引
文本
综合性
闭环
指标
动态
关系