一种基于模态信息评价的道路场景识别方法及系统

本发明公开了一种基于模态信息评价的道路场景识别方法及系统，属于道路场景识别技术领域，包括：基于提取的多模态特征，构建基于模态信息评价的场景识别多任务模型；多模态特征包括音频特征和视频图像帧特征；场景识别多任务模型包括协同网络和主干分类网络，协同网络由视觉特征提取VGG16‑places365作为模态质量评价网络，并使用基于局部归一化亮度系数的BRISQUE算法作为教师模型为模态质量评价网络提供学习参考标签；主干分类网络使用多模态DBN网络对视觉与音频两种模态场景信息进行无监督联合表示。本发明将图像质量与亮度信息联系起来，提出模态信息质量评价因子来评估视频图像帧质量，从而可动态的根据照度变化调整模态信息权重，达到识别模型鲁棒的目的。