一种基于不合理因果相关性的多模态大模型恶意注入攻击方法

本发明公开一种面向预训练多模态模型的恶意注入攻击方法，该方法针对不同模态相关的因果关系之间的复杂作用，力求解决传统的注入攻击在多模态场景下的隐蔽性和有效性大幅下降的问题，主要从以下三个方面实现面向恶意注入方案。首先，提出一种恶意注入初步生成方法，分别为四种不同的类型的攻击欺骗性注入；其次，基于前提假设共识对齐，发现每个样本蕴涵关系下的脆弱区域，将优化后的假设句替代原始文本；最后，计算最优的注入位置并与恶意注入词组合成建欺骗性文本，再从模态内和模态间依赖关系出发构建最终的欺骗性样本对。