一种基于多模态大模型的轨道缺陷检测方法及装置

本发明公开一种基于多模态大模型的轨道缺陷检测方法及装置，涉及轨道检测技术领域。方法包括：基于轨道训练样本、待训练的基础多模态大模型以及扩散去噪解码器进行基于轨道知识的后训练微调处理，得到第一基础多模态大模型；基于轨道训练样本以及第一基础多模态大模型进行基于轨道多模态目标检测任务的冷启动监督微调，得到第二基础多模态大模型；基于轨道训练样本、第二基础多模态大模型以及GRPO算法进行基于轨道多模态目标检测任务的强化微调，得到训练好的轨道缺陷检测模型；将待检测的轨道图像输入到轨道缺陷检测模型中，得到对应的缺陷检测结果。采用本发明可以降低大模型的计算开销，提高检测效果，且检测结果更好解读。