基于多模态数据融合的井下设备状态检测方法

本公开提出一种基于多模态数据融合的井下设备状态检测方法，涉及煤矿井下设备检测技术领域。其中，方法包括：获取井下设备的启停状态文本信息和监控视频信息；将启停状态文本信息输入至预先训练的文图生成模型中，获得第一图像；获取监控视频信息中的视频帧信息；对第一图像和视频帧信息进行合成处理，生成图像集；采用视觉检测算法对图像集进行检测，获得井下设备的第一启停状态检测结果。本公开通过多种信息综合判断井下设备的启停状态，丰富数据来源，提高设备状态检测的准确性。并且在视频信息出现问题时，利用启停状态文本信息进行数据补充，可一定程度避免因视频信息丢失导致的设备启停状态无法检测或检测不准的问题，保证施工安全。