多模态的智能座舱驾驶人疲劳监测系统及模型构建方法

本发明公开了多模态的智能座舱驾驶人疲劳监测系统及模型构建方法，系统包括数据采集模块，所述数据采集模块用于采集驾驶人员的多模态数据；特征提取模块，所述特征提取模块用于从多模态数据中提取与疲劳相关的特征；融合模块，所述融合模块用于将多模态特征进行融合，得到驾驶人疲劳状态评估；疲劳监测及预警模块，所述疲劳监测及预警模块能够根据融合后的特征判断驾驶人员的疲劳状态，同时能够发出警报；本发明涉及驾驶疲劳监测技术领域；本发明通过利用多模态数据融合方式，提出以自动编码器为基础的集成深度学习模型，有效的将面部及生理特征进行有效的结合，将数据的细节特征输入模型，提高了特征融合效率及模型鲁棒性。