一种针对代码生成模型的测试方法及装置

本申请实施例公开了一种针对代码生成模型的测试方法及装置。其中该方法包括一轮以上的测试，每一轮测试包括：从测试数据集中获取包含待补全位置的第二代码，第二代码是将目标仓库中的第一代码剪裁掉其中的部分代码内容后得到的，剪裁掉的代码内容对应有测试用例；从第二代码中提取待补全位置的上下文，得到上下文对应的第一增强信息；将第二代码以及第一增强信息提供给代码生成模型，得到代码生成模型生成的第三代码；基于第三代码，执行部分代码内容对应的测试用例；基于一轮以上的测试得到的测试用例的执行结果，获取代码生成模型的评估结果。本申请可以准确地对代码生成模型进行评估，进而正确反应代码生成模型在真实服务场景中的能力。