一种用于大语言模型智能体的间接提示注入防御方法及系统

AITNT
正文
推荐专利
一种用于大语言模型智能体的间接提示注入防御方法及系统
申请号:CN202510985087
申请日期:2025-07-17
公开号:CN120910855A
公开日期:2025-11-07
类型:发明专利
摘要
本发明公开了一种用于大语言模型智能体的间接提示注入防御方法及系统,属于人工智能安全领域。基于大语言模型智能体解析用户任务指令和预定义工具描述,生成工具依赖关系的有向无环图;按照拓扑顺序执行各节点的工具调用,将节点响应生成的参数推理结果写入上下文;若需补充信息,允许智能体安全扩展节点;当检测到潜在注入指令时,引导调用语义相关的外部工具并加入伪工具集合,最终通过伪工具调用机制处理该集合实现主动防御。本发明通过将任务执行流程显式建模为表示工具依赖关系的有向无环图,在任务规划阶段预定义工具调用路径,并在任务执行过程中对智能体的行为施加约束,从源头上抑制由注入指令触发的非法工具调用行为。
技术关键词
大语言模型 解析工具 防御系统 扩展模块 参数 识别工具 指令 识别关键字 关系 模拟工具 生成工具 语义 机制 源节点 列表 代表 规划 变量
系统为您推荐了相关专利信息
1
一种面向智能电网数据保护的联邦学习方法
智能电表 面向智能电网 联邦学习方法 中心服务器 数据保护
2
一种基于三维高斯场景的开放词汇语义分割方法及装置
语义特征 预测特征 语义分割方法 视角 文本编码器
3
一种多低秩专家混合的医学图像配准方法
级联卷积神经网络 医学图像配准方法 解码器结构 医学图像处理技术 多分辨率特征
4
一种工业零件尺寸智能测量方法及测量系统
待测零件 智能测量方法 感兴趣区域提取 实时图像 卷积神经网络模型
5
图纸明细表生成方法、装置、设备、存储介质和程序产品
三维模型 图纸 生成方法 参数 层级
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号