一种大语言模型越狱提示词的检测方法

本发明提出了一种新颖的越狱提示检测框架，通过激活和探测两个步骤实现检测，核心思想是通过利用大语言模型的内在价值防御机制来增强检测器的能力，使检测器站在大语言模型的肩膀上。具体来说，在激活阶段，向输入提示添加特殊后缀以激活大语言模型的内在防御机制，放大越狱提示和良性提示在大语言模型内的特征分布差异。在探测阶段，设计一个基于CNN的检测模型来处理激活大语言模型层的隐藏特征，以提取越狱和良性原型，从而有效检测候选提示。通过本发明大语言模型厂家能够仅在一次推理的时间内检测候选提示是否为越狱提示，大大提高了越狱检测的效率和准确率。