摘要
本发明涉及纺织工业自动化检测技术领域,更具体地说,涉及基于大规模预训练模型迁移学习的纺织布匹缺陷检测方法,用于解决现有技术不能将布匹缺陷的文本描述与图像特征融合,无法结合点积相似度和权重分配突出关键区域,降低对细粒度缺陷的理解和判别能力的问题;本发明通过跨模态对齐与注意力机制,将布匹缺陷的文本描述与图像特征融合,生成语义指向性的多模态表示,通过线性映射统一特征空间,结合点积相似度和权重分配,突出关键区域,提升模型对细粒度缺陷的理解和判别能力,注意力图支持缺陷定位,增强可解释性,为后续任务提供高质量特征输入。
技术关键词
布匹缺陷检测方法
预训练模型
纺织品缺陷
布匹表面
图像
视觉特征
Adam算法
缺陷类别
自然语言
注意力机制
文本
样本
训练卷积神经网络
跨模态
自动化检测技术
语义
模态特征