一种基于多模态LLM实现缺陷目标检测的方法

本发明涉及工业缺陷检测领域，具体涉及一种基于多模态LLM(大语言模型)实现缺陷目标检测的方法，其包括以下步骤：选择视觉语言模型作为基底模型；通过微调策略，对大规模行业数据进行多阶段训练，构建具有缺陷检测能力的多模态大模型，对模型进行缺陷grounding能力的微调训练；对模型进行无缺陷识别能力的微调训练；对模型进行ZeroShot能力的微调训练。该方法让多模态大模型在多场景上的适应性较强、在多站点多场景下适应性更佳。