一种基于多模态协同的缺陷检测方法、装置、设备及介质

本发明公开一种基于多模态协同的缺陷检测方法、装置、设备及介质，涉及人工智能领域，包括：对工件图像进行频域带阻滤波处理，得到预处理工件图像；检测预处理工件图像中的工件关键点；基于工件关键点，将预处理工件图像对齐到预设的标准位置，得到对齐工件图像；构建多模态提示特征向量，多模态提示特征向量包括基于对齐工件图像生成的视觉掩码特征和基于缺陷知识生成的文本特征；将对齐工件图像和多模态提示特征向量输入至预训练的图像分割模型，得到缺陷分割结果；基于缺陷分割结果进行缺陷置信度评估，以判定是否存在缺陷。本发明显著提升了工件缺陷检测的检测精度与鲁棒性。