基于视听融合的道路场景识别方法及系统

本发明提出了基于视听融合的道路场景识别方法及系统，涉及道路场景识别技术领域。包括获取道路场景视频，提取关键帧；提取关键帧中每一帧的全局特征和局部特征进行融合，得到多层的关键帧的场景特征表示，将多层的关键帧的场景特征表示进行融合，得到道路场景视觉模态的视觉特征；分离道路场景视频中的音频，提取音频的MFCC特征，作为道路场景音频模态的声音特征；将视觉特征和声音特征进行融合，基于融合特征对道路场景进行分类，得到道路场景识别结果。本发明充分考虑道路视频场景的局部目标特征与全局场景特征的结合，并考虑将视觉特征与声音特征进行多模态融合，通过多层视听融合的框架，提高道路视频场景识别的准确率。