一种基于信号融合的飞行员非接触生理状态评估方法

本发明公开了一种基于信号融合的飞行员非接触生理状态评估方法，涉及计算机视觉、图像处理及生理信号检测技术领域，包括：构建rPPG信号特征提取模型，采用对比学习作为自监督学习方案训练rPPG信号特征提取模型；利用训练好的rPPG信号特征提取模型从视频中提取rPPG信号特征；构建声音及表情融合信号特征提取模型并进行预训练，利用训练好的声音及表情融合信号特征提取模型从视频中提取声音及表情信号特征；构建基于深度学习模型的多源信号融合网络，将所述rPPG信号特征和声音及表情信号特征作为输入，对人体的生理状态进行连续性评估。本发明将rPPG信号、音频信号和表情信号三个模态结合起来，提高了生理状态评估的准确性和可靠性。