摘要
本申请涉及一种模型幻觉的检测方法、装置、设备、存储介质和程序产品。方法包括:获取视觉语言模型对视觉文本对的跨模态注意力,将跨模态注意力划分为有幻觉时的样本注意力或无幻觉时的样本注意力;将样本注意力输入第一阶段幻觉检测器得到第一幻觉检测结果,根据第一幻觉检测结果与样本注意力的注意力类别更新第一阶段幻觉检测器;将注意力类别为有幻觉时的样本注意力继续输入第二阶段幻觉检测器得到第二幻觉检测结果,根据第二幻觉检测结果与样本注意力的样本类别,更新第二阶段幻觉检测器;将第一阶段幻觉检测器与第二阶段幻觉检测器进行级联,得到幻觉检测模型,幻觉检测模型用于对视觉语言模型在进行模型推理时是否发生幻觉进行检测。
技术关键词
注意力
视觉
文本
检测器
样本
对象
令牌
跨模态
图像编码
级联
解码网络
模块
模板
大语言模型
模态特征
计算机程序产品
处理器
系统为您推荐了相关专利信息
图像分类算法
客户端
分布式训练
Softmax分类器
卷积神经网络模型
伺服电机故障
局部敏感哈希索引
监测方法
数据
伺服驱动器
轻量化无人机
采集无人机
模块
生成多尺度
检测无人机
依赖特征
智能护栏系统
道路交通指挥
加速度
序列