基于视觉提示和视觉大模型的客车部件故障检测方法及系统

本发明公开了一种基于视觉提示和视觉大模型的客车部件故障检测方法及系统，其中方法包括：针对每一种类型的零部件样本图像集，对每幅样本图像中的目标进行位置标注，然后拼接成全景图像，并生成掩码图像；通过异常描述文本对每一种类型的零部件的异常类型及各异常类型的细节进行描述；提取全景图像和掩码图像的多尺度图像特征并融合得到视觉提示特征；提取待检测零部件图像的多尺度图像特征并与视觉提示特征融合，得到待检测零部件多尺度图像特征，将其输入零部件定位模型，定位目标零部件图像；采用视觉大模型将目标零部件图像的视觉特征与对应异常描述文本的文本特征融合，预测输出故障检测结果。本发明可实现精准地零部件定位和故障检测。