一种基于多模态模型的PCB缺陷跨域协同检测方法

本发明提供了一种基于多模态模型的PCB缺陷跨域协同检测方法，包括采集X射线图像和光学图像，采用Vision Transformer模型处理X射线图像和光学图像，得到视觉特征。采用BERT模型处理生产日志文本，得到文本特征。采用交叉注意力机制对视觉特征和文本特征进行特征对齐，得到融合特征。对融合特征进行缺陷分类，得到PCB缺陷类型。通过Vision Transformer模型来处理X射线图像和光学图像，能够同时捕捉PCB缺陷的内部特征和PCB缺陷的表面特征。通过BERT模型对生产日志文本进行理解和分析，提取与缺陷相关的工艺参数信息。通过交叉注意力机制对视觉特征和文本特征进行特征对齐，从而实现了多模态数据之间的特征融合。