摘要
本申请实施例提供一种检索增强生成模型的评估方法、装置及计算设备,方法包括:获取预设文本,预设文本中包括至少一个问答语句对,问答语句对包括问答语句和问答语句对应的参考答案;通过检索增强生成模型处理预设文本,得到检索增强生成模型的标准评估指标和至少一个专项评估指标,其中,专项评估指标用于表征检索增强生成模型在目标维度的性能;根据标准评估指标和专项评估指标,确定评估结果。上述方法能够提高模型评估方法的适用性,在不同应用场景下为模型优化提供精准的改进方向。
技术关键词
语句
指标
文本
大语言模型
忠诚度
模型评估方法
设备监控系统
计算机执行指令
生成答案
资源
评估装置
存储器
处理器
模块
数据
语义
场景
系统为您推荐了相关专利信息
文本识别方法
文本识别模型
文本生成模型
图像拼接
样本
对话生成方法
标签
对话生成模型
样本
结构化自然语言