摘要
本申请公开了一种基于跨模态提示对比学习的元件异常检测方法和装置,涉及异常检测领域。所述方法包括:获取元件的图像数据,根据图像数据生成异常相关的文本数据;获取图像特征和文本嵌入;通过非线性映射的多模态变换对比嵌入空间算法,将图像特征和文本嵌入映射到共享嵌入空间,捕捉图像特征和文本嵌入的语义关联,获取跨模态特征;将跨模态特征输入引入高阶自适应注意力机制的分类头,结合图谱生成对比学习算法,进行异常检测。本发明利用图像和文本的匹配能力,无需依赖大量标注数据或特定的异常类型训练,通过对象无关提示学习实现对元件异常的自动检测与识别,能够提升异常检测的效率、自动化水平和泛化能力。
技术关键词
跨模态
文本
异常检测方法
图像
多层次卷积神经网络
学习算法
注意力机制
语义
元件
异常检测装置
特征提取模型
生成对抗网络
非线性
多模态
投影方法
重构算法
图谱
数据处理模块
系统为您推荐了相关专利信息
联合检测方法
非接触式
双目相机
联合检测装置
金字塔结构
结肠镜图像
溃疡性结肠炎
粪便钙卫蛋白
深度神经网络模型
疾病
生成方法
采样器
可读存储介质
模块
图像识别模型