摘要
本申请公开了一种模型的鲁棒性验证方法、装置、电子设备及存储介质。其中,该方法包括:获取大模型在进行微调训练过程中各个训练批次对应的损失值,并依据损失值,从各个训练批次得到的微调模型中确定待验证模型;获取微调训练过程中所采用的训练数据集,并依据训练数据集中问题文本包含的关键词,生成验证数据集;获取待验证模型依据验证数据集中的问题文本,所生成的回答结果;确定待验证模型生成的回答结果,与验证数据集中与问题文本对应的回答结果之间的相似度,并依据相似度,确定待验证模型的鲁棒性得分。本申请解决了相关技术中的大模型微调验证方案无法充分评估微调模型的鲁棒性的技术问题。
技术关键词
鲁棒性验证方法
文本
数据
非易失性存储介质
关键词
分词
语义主题
样本
统计特征
同义词
电子设备
语句
语法结构
计算机程序产品
验证装置
测试模块
自然语言
处理器
曲线
系统为您推荐了相关专利信息
预测模型构建方法
评估预测模型
建立预测模型
指标
模型构建系统
舆情发现方法
智能算法
社交媒体平台
BERT模型
数据一致性验证
电力系统数字化
判定方法
矩阵
多头注意力机制
编码器模块
传输网络业务
资源关联关系
业务关联关系
业务关联信息
对象