一种恶意后缀构造方法、可控越狱攻击方法及装置

本发明公开了一种恶意后缀构造方法、可控越狱攻击方法及装置，该方法设计了一种在扩散模型SD中的越狱攻击框架，该越狱攻击方法分别从文本模态和图像模态进行操作。在文本模态学习一个不包含敏感词的可迁移恶意后缀，使用余弦损失函数，在编码器层使恶意后缀和包含显式敏感词的恶意提示语义靠近，将学习到的恶意后缀添加到输入的文本提示的越狱对象之后，将无害的提示转换为敏感图像生成指令。在图像模态，通过设计的安全检查器损失和文本一致损失函数，进行反向传播梯度优化输入的待编辑原始图像，使生成的图像越过安全检查器的检查，生成包含NSFW内容的图像。本方法能够绕过安全检查器的安全限制，实现越狱攻击，揭露目前文生图模型存在的安全漏洞，并对模型的安全保护措施进行评估。