一种基于多模态数据融合的飞行员危险驾驶行为监测方法

本发明公开了一种基于多模态数据融合的飞行员危险驾驶行为监测方法，属于多模态数据融合监测领域，包括利用多元传感器获取飞行员起飞与着陆状态下的生理数据，判断飞行员的疲劳状态，利用眼动仪与相机对起飞与着陆状态下的飞行员进行数据采集，获得飞行员眨眼频率、眼睑闭合度、瞳孔变化、打哈欠次数、点头频率、操纵杆平均移动速度、移动方向的行为数据，判断飞行员的疲劳状态；构建基于Transformer的多模态数据融合的网络，并对其进行训练；利用训练好的基于Transformer的多模态数据融合的网络对飞行员的驾驶行为进行监测；通过多通道交互技术提高信息的全面性和准确性，降低环境、个体差异的影响，增强稳定性和鲁棒性。