动态自适应的模型基准测试的方法及装置、测试设备

本申请涉及模型测试技术领域，公开一种动态自适应的模型基准测试的方法及装置、测试设备，方法包括：在动态数据库中选取多个测试题目作为第一测试数据集；将第一测试数据集输入目标待测模型，获得目标待测模型的输出结果；根据输出结果，确定目标待测模型的适应度函数结果；若适应度函数结果满足阈值条件，则对输出结果进行分析，获得目标待测模型的能力测试结果；否则，基于演进策略对第一测试数据集进行更新，并利用更新后的第二测试数据集对目标待测模型进行迭代测试。本申请能够更有效地避免遍历全部测试数据集，能够避免“刷榜”问题，能够提高模型能力测试结果的准确性和可信度，能更高效地更精准地挖掘模型缺陷。