摘要
本发明公开了一种用于大语言模型智能体的间接提示注入防御方法及系统,属于人工智能安全领域。基于大语言模型智能体解析用户任务指令和预定义工具描述,生成工具依赖关系的有向无环图;按照拓扑顺序执行各节点的工具调用,将节点响应生成的参数推理结果写入上下文;若需补充信息,允许智能体安全扩展节点;当检测到潜在注入指令时,引导调用语义相关的外部工具并加入伪工具集合,最终通过伪工具调用机制处理该集合实现主动防御。本发明通过将任务执行流程显式建模为表示工具依赖关系的有向无环图,在任务规划阶段预定义工具调用路径,并在任务执行过程中对智能体的行为施加约束,从源头上抑制由注入指令触发的非法工具调用行为。
技术关键词
大语言模型
解析工具
防御系统
扩展模块
参数
识别工具
指令
识别关键字
关系
模拟工具
生成工具
语义
机制
源节点
列表
代表
规划
变量
系统为您推荐了相关专利信息
智能电表
面向智能电网
联邦学习方法
中心服务器
数据保护
语义特征
预测特征
语义分割方法
视角
文本编码器
级联卷积神经网络
医学图像配准方法
解码器结构
医学图像处理技术
多分辨率特征
待测零件
智能测量方法
感兴趣区域提取
实时图像
卷积神经网络模型