一种基于时空信息融合的疲劳检测方法

本发明公开了一种基于时空信息融合的疲劳检测方法，属于疲劳检测技术领域。本发明通过摄像头采集用户面部视频，使用预训练人脸检测模型，对每一帧视频进行人脸检测，进行人脸关键点标注；基于人脸关键点计算眼睛长宽比和rPPG信号作为时序信息，选择关键帧作为空间信息，采用SSIM结构相似性作为衡量指标，通过梯度下降进行关键帧的选取；构建基于时空融合神经网络的疲劳检测模型，设置模型参数进行训练，将时序信息和空间信息输入到对应模块；将疲劳检测模型提取到的特征进行融合，映射到概率空间，通过分类器实现疲劳的检测，根据设定的疲劳状态的分界点，将输出值与分界点进行比较，得到疲劳检测结果。