基于跨媒体和知识推理的螺栓缺销检测方法

本发明公开了基于跨媒体和知识推理的螺栓缺销检测方法，构建螺栓‑金具图文对数据集以及螺栓知识图谱；创建跨媒体螺栓知识融合模型，跨媒体螺栓知识融合模型通过融合微调后的MiniGPT‑4提取的全局信息与YOLOv8捕捉的局部信息，从而生成图像的整体文本描述；创建基于知识图谱的大语言推理模型，基于知识图谱的大语言推理模型利用螺栓知识图谱指导大语言模型对跨媒体螺栓知识融合模型的输出信息进行知识推理，得到可解释的螺栓缺销检测结果，该螺栓缺销检测方法，不仅可对采集的螺栓图像进行检测，提升螺栓缺销检测的精度，而且使得螺栓缺销检测结果具有可解释性，与其他先进的缺销螺栓检测方法进行比较，AP和mAP的值均为最优。