一种基于变异策略的大模型合规性测试方法与系统

本发明公开了一种基于变异策略的大模型合规性测试方法与系统，本发明首先预置多种变异方法，每种变异方法对应一种或多种变异策略；测试时对于分类测试问题集合中的每个原始测试问题，使用所选的变异方法的变异策略进行处理，得到变异后的新测试问题；然后将变异后的新测试问题输入待测试大模型得到模型回答，计算模型回答与原始测试问题的预设期望和不期望参考回答之间的语义相似度得分；最后根据语义相似度得分判断是否命中不期望回答，以评估待测试大模型的合规性。本发明能够提升模型合规性测试的泛化能力和有效性，为企业选择满足自身合规性要求的大模型提供指导。