摘要
本发明实施例提供一种大语言模型的动态评估方法、装置、设备及介质,该方法包括:获取待评估大语言模型的原始基准样本集;对所述原始基准样本集进行样本动态优化处理,获得所述待评估大语言模型的动态基准样本集,所述样本动态优化处理包括样本筛选、样本增强和负样本创建;基于设定的至少一个大语言模型和所述动态基准样本集,对所述待评估大语言模型进行验证评估,获得所述待评估大语言模型的验证评估结果。区别于传统的静态方法,利用该方法,采用动态评估框架,用于对待评估大语言模型进行动态评估来生成更复杂和新颖的评估样本,从而提供了对模型性能更细致和全面的评估。
技术关键词
大语言模型
样本
动态评估方法
基准
种子
可读存储介质
计算机
评估装置
特征选择
处理器通信
存储器
电子设备
模块
指令
策略
框架
系统为您推荐了相关专利信息
传感器联合标定
三维扫描仪
标定参照物
矩阵
数据
代码分析方法
分析工具
大语言模型
分布式系统部署
分析模块
时序运行模拟
机组组合模型
电力系统运行模拟
重构
火电发电机组
甘蓝型油菜
数据库构建方法
运算设备
混合线性模型
标记
动作特征
视觉特征
动作噪声
模型训练方法
执行设备