一种基于蜕变测试的大模型推理能力测试方法与框架

AITNT
正文
推荐专利
一种基于蜕变测试的大模型推理能力测试方法与框架
申请号:CN202410738682
申请日期:2024-06-07
公开号:CN118585447A
公开日期:2024-09-03
类型:发明专利
摘要
本发明公开一种基于蜕变测试的大模型推理能力测试方法与框架,该方法包括:在采集新发布测试基准的同时,提出蜕变函数方法库并进行丰富完善;构建面向大模型推理能力评估领域的七要素蜕变关系模板;使用七元素蜕变关系模板,指导蜕变关系的设计过程,同时基于蜕变函数方法库的积累,生成初始测试用例集及衍生测试用例集和高质量蜕变关系,基于蜕变关系判定结果,引入蜕变关系揭错率,并利用揭错率针对蜕变关系揭错能力的量化反馈框架,优化蜕变关系执行顺序。本发明可以有效辅助蜕变测试技术在大模型测试领域的应用,高效梳理框架构建逻辑与环节,显著增强蜕变关系设计过程的可操作性与可解释性;本发明能够有效缓解大规模测试预期的构造问题。
技术关键词
蜕变关系 能力测试方法 测试用例数据 测试用例集 蜕变测试技术 文本 动态更新 框架 模板组合 搭建模块 逻辑 基准 系统级 单轮 答案 语义 链路
系统为您推荐了相关专利信息
1
车间生产用产品测试方法、装置、设备及介质
产品测试方法 产品需求文档 产品生产流程 待测产品 异常数据检测
2
基于大语言模型的系统内核模糊测试种子生成方法及系统
种子生成方法 大语言模型 状态转换表 测试场景 生成系统
3
API网关实现托管API自动化测试的方法及系统
子模块 错误日志 网关 历史流量数据 生成测试报告
4
一种面向saas出行平台的调度策略自动验证装置
出行平台 策略 验证装置 生成测试用例 动态测试数据
5
软件测试用例生成方法、系统、电子设备及存储介质
软件测试用例 测试用例集 生成方法 种子测试用例 分支
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号