一种融合文本和缺陷图像的SMT加工方法

本发明提供了一种融合文本和缺陷图像的SMT加工方法，包括获取AOI检测文本和SMT缺陷图像，提取AOI检测文本的语义特征。提取SMT缺陷图像的视觉特征，将语义特征和视觉特征进行多模态融合，得到融合特征。采用知识图谱的形式构建缺陷类型和工艺参数之间的关联矩阵，更新关联矩阵，根据关联矩阵构建损失函数，更新当前工艺参数向量，得到中间工艺参数向量。基于当前工艺参数向量计算推荐工艺参数向量，调整SMT加工工艺。本发明在融合语义特征和视觉特征的基础上，可以充分利用加工SMT的历史数据，以筛选出中间工艺参数向量，采用中间工艺参数向量计算出精确度较高的推荐工艺参数向量，采用推荐工艺参数向量来调整SMT加工工艺，降低加工SMT时出现缺陷的概率。