面向检索增强大语言模型的知识问答对抗检测方法及系统

本发明公开了一种面向检索增强大语言模型的知识问答对抗检测方法及系统。先接收用户问题进行语义解析，提取关键特征，利用这些特征在本地知识库中检索，提取相关的上下文，将问题及上下文输入大语言模型生成基础答案；对提问及上下文进行语义替换生成多种表述形式。对替换前后的表述按提问和上下文随机采样，输入大语言模型生成答案。计算采样组合生成的答案与基础答案之间的语义距离，将其作为特征值输入至无监督离群点检测模型。如果检测模型将该特征值判定为离群值，则存在对抗风险，否则返回基础答案。本发明对提示词及上下文进行语义替换和无监督对抗检测，抵御了针对提问和本地知识库的对抗攻击，提升了大语言模型的准确性和鲁棒性。