面向AVI检测缺陷数据判定的大模型方法及装置、介质

本发明公开了一种面向AVI检测缺陷数据判定的大模型方法及装置、介质，大模型方法包括：构建缺陷检测大模型；获取工业产品照片，文本标注后生成图像文本数据对并输入缺陷检测大模型中，由图像编码器和文本编码器配合生成中间特征表示，由解码器基于中间特征表示生成预测掩码；对预测文本掩码与文本特征信息进行多模态对齐得到模态特征表示；将模态特征表示与预测图像掩码输入提示词编码器中生成与图像特征信息同维度的Prompt向量编码；将Prompt向量编码输入LLM模型中，待语言提问后输出语义级别的判定结果。大模型方法具有良好的迁移性、扩展性、强泛化能力和感知能力，摆脱了阈值依赖，实现对AVI检测缺陷数据精确再判定。