基于多模态的物流清障车规范工作识别方法、设备及介质

本发明公开了基于多模态的物流清障车规范工作识别方法、设备及介质，包括收集少量的清障车车载视频，进行前期的处理；在构建模型前期加入视频前处理算法，通过RGB直方图法，找到光线暗的视频，然后使用DeepUPE模型进行暗光图像增强；搭建多模态CLIP网络结构检测，设置合适的参数；进行模型训练，得到清障车规范工作识别模型；使用测试集进行清障车规范工作识别；本发明通过视觉算法来判断，输入清障车的车载视频，使用多模态CLIP模型来识别视频中的清障车上是否有车辆，排查清障车是否正常工作，从而给运输提供保障。考虑到夜间行车的频繁性，同时引入视频前处理算法提取夜间光线暗的视频，使用DeepUPE模型进行暗光图像增强，提高了算法识别的准确率。