一种基于多模态特征融合的疲劳驾驶检测方法及系统

本发明公开了一种基于多模态特征融合的疲劳驾驶检测方法及系统，该方法通过DROZY数据集作为实施例，对该发明方法进行说明。通过对数据集进行预处理，提取出时间上一一对应的图像数据与PSG时序数据，图像与时序数据供后续系统输入使用。对两种模态数据提取浅、中、深层网络的特征信息。得到两种模态的3个特征块维数调整一致后，通过残差卷积注意力模块优化特征信息。再经过权重计算方法得到单模态数据不同层的权重信息，再由权重信息与原特征块进行多尺度权重融合，得到图像数据与时序数据的特征向量提取结果。两模态的特征向量数据进行融合，由融合特征通过分类器输出分类结果，实现疲劳驾驶检测。