一种基于对抗攻击的大模型评测方法和装置

本发明提供一种基于对抗攻击的大模型评测方法和装置，涉及人工智能技术领域，方法包括：利用预构建的结构性因果模型，分析混杂因子通过混杂路径对大模型预测结果的混杂效应；基于所述结构性因果模型的分析结果，通过对比不同提示的输出差异，筛选受混杂效应影响的关键样本；针对所述关键样本，通过黑盒方法或白盒方法生成对抗样本；利用所述对抗样本，对所述大模型进行评测。本发明通过对大模型的混杂效应进行分析，并通过因果理论降低混杂因子的影响，从而找到数据集中的关键样本；针对关键样本，提出黑盒与白盒场景下的对抗样本生成方法，将该对抗样本用于大模型评测，能够更加有效的评估大模型的鲁棒性。