一种3D分层卷积融合的多模态信号疲劳检测方法

近年来，脑电等生理信号由于能客观体现人真实的疲劳情况，不受主观因素的影响，成为疲劳检测研究的热门对象。尽管脑电和前额眼电都可用于疲劳检测，而脑电和前额眼电很难建立一个稳定的疲劳检测模型。针对这些问题，本发明提出基于3D分层卷积的多模态特征融合模型，旨在充分挖掘多模态交互关系，更准确的预测疲劳程度。首先，采用Welch方法计算脑电信号的4个频段的功率谱密度和频谱比F(θ+α)/β作为脑电信号特征，通过ICA算法和墨西哥帽小波算法提取垂直眼电信号特征，计算加速度计三轴上的均值、标准差和能量作为头部运动特征，在对得到的多模态疲劳特征进行3D卷积融合操作，实现两两模态间的局部交互和所有模态间的全局交互，提高疲劳检测的稳定性与准确性。