基于重构引导跨模态对齐的小样本异常检测和分类框架

基于重构引导跨模态对齐的小样本异常检测和分类框架，步骤1：构建重构网络，重构网络将数据集图像重建为完全正常图像，将重构网络的输出和输入进行比较以确定输入图像中的异常信息；步骤2：跨模态对齐网络包含视觉编码器和文本编码器两个分支，通过文本编码器和视觉编码器分别提取文本特征和视觉特征；步骤3：将所述异常信息和所述视觉特征进行注意力融合，输出异常细节信息增强后的视觉特征；步骤4：通过计算步骤2中所述文本特征和步骤3中所述视觉特征之间的相似度，从而判定输入的图像是否异常并获得像素级异常定位结果。本发明实现高精度、强泛化能力和低资源消耗的通用异常检测、定位和分类。