摘要
本申请的实施例揭示了一种提示注入防御方法、系统、电子设备及存储介质,方法包括:对输入文本进行初步检测,得到初步检测结果;对输入文本进行语义分析生成语义理解分析报告;获取目标大语言模型的当前运行参数;根据当前运行参数,获取目标大语言模型的行为模式分析结果;根据所述初步检测结果、所述语义理解分析报告和所述行为模式分析结果,获取所述目标大语言模型的当前防御策略;本申请通过从输入文本和大语言模型的运行状态两个方面进行紧密结合,不仅可以准确检测出大模型受到的提示注入攻击以及高效防止大模型受到恶意攻击,并且在面对复杂的攻击场景时可以制定出相对应的防御策略,实现更有效的防御,提升整体防御系统的鲁棒性。
技术关键词
大语言模型
文本
语义
语法结构
序列
计算机可读指令
报告
防御系统
策略
高风险
注意力机制
电子设备
逻辑
意图类别
参数
处理器
系统为您推荐了相关专利信息
政务
图谱
数据分类
命名实体识别模型
数据采集处理单元
动作识别模型
动作识别方法
多分支
节点位置信息
节点特征
变电设备状态评估
工况
状态转移模型
深度学习算法
推理算法