摘要
一种协同文本提示与视觉修复的降质图像缺陷检测方法及系统,包括通过高阶降质模型生成降质图像;从降质图像中提取与检测目标相关的语义线索,并编码为文本特征向量;将降质图像输入至集成低秩自适应模块的抗降质骨干网络,输出鲁棒视觉特征图;将文本特征向量和鲁棒视觉特征图输入至编码器,输出融合文本提示的增强视觉特征;引入视觉修复引导的协同学习策略,对融合文本提示的增强视觉特征进行修复和增强,提升特征质量,同时改善在噪声条件下的查询分配;将融合文本提示的增强视觉特征在经过视觉修复引导的协同学习策略处理之后,输入至解码器,输出缺陷的位置和类别信息。本发明能够直接面向降质图像进行优化,有效提取并利用降质信息。
技术关键词
图像缺陷检测方法
视觉特征
文本特征向量
交叉注意力机制
鲁棒视觉
噪声条件
解码器
线索
噪声特征
文本编码器
辅助检测头
语义关键词
编码模块
前馈神经网络
系统为您推荐了相关专利信息
鱼眼图像
组合导航方法
构建深度神经网络
坐标系
融合图像处理
协同注意力
融合特征
sigmoid函数
融合策略
通道
SAR遥感图像
无人机航拍影像
沉降监测方法
交叉注意力机制
联合损失函数
关键帧
时序特征
文本
视频摘要方法
生成视频摘要
预训练系统
质检模型
工业质检
文本编码器
视觉特征