摘要
本申请公开了一种面向政务大模型检测的方法、系统及设备,包括根据第一查询文本集,通过目标待测模型,获得第一答案集;根据第一答案集,获得第二答案集;根据第二答案集,获得第二答案集对应的第二查询文本集;根据第二查询文本集,获得与第二答案集对应的第二Prompt集;根据第二Prompt集,通过目标待测模型,获得第三答案集;根据第一答案集、第二答案集和第三答案集,获得目标待测模型的评估结果。至少解决了现有的政务大模型评估方法没有对查询文本的理解能力进行评估,评估结果无法为政务大模型的优化提供帮助的问题。
技术关键词
答案
文本
政务
关键词
参数
正确率
图谱
模型评估方法
模板
实体
语义
存储器
处理器
电子设备
平台
关系
系统为您推荐了相关专利信息
数据库系统
存储加密方法
存储加密装置
加密算法
密钥管理
配置扩展方法
建筑设备
生成控制指令
设备操作方法
设备状态参数
道路结构设计
动作建议
大语言模型
路面结构层
公路沥青路面
计算机执行指令
观测设备
控制模块
对象
机械臂技术