摘要
本发明公开一种基于蜕变测试的大模型推理能力测试方法与框架,该方法包括:在采集新发布测试基准的同时,提出蜕变函数方法库并进行丰富完善;构建面向大模型推理能力评估领域的七要素蜕变关系模板;使用七元素蜕变关系模板,指导蜕变关系的设计过程,同时基于蜕变函数方法库的积累,生成初始测试用例集及衍生测试用例集和高质量蜕变关系,基于蜕变关系判定结果,引入蜕变关系揭错率,并利用揭错率针对蜕变关系揭错能力的量化反馈框架,优化蜕变关系执行顺序。本发明可以有效辅助蜕变测试技术在大模型测试领域的应用,高效梳理框架构建逻辑与环节,显著增强蜕变关系设计过程的可操作性与可解释性;本发明能够有效缓解大规模测试预期的构造问题。
技术关键词
蜕变关系
能力测试方法
测试用例数据
测试用例集
蜕变测试技术
文本
动态更新
框架
模板组合
搭建模块
逻辑
基准
系统级
单轮
答案
语义
链路
系统为您推荐了相关专利信息
产品测试方法
产品需求文档
产品生产流程
待测产品
异常数据检测
种子生成方法
大语言模型
状态转换表
测试场景
生成系统
子模块
错误日志
网关
历史流量数据
生成测试报告
出行平台
策略
验证装置
生成测试用例
动态测试数据
软件测试用例
测试用例集
生成方法
种子测试用例
分支