一种视觉-生理多模态的飞行员工作负荷检测方法与装置

本发明提供了一种视觉‑生理多模态的飞行员工作负荷检测方法与装置，方法包括在飞行模拟环境中采集飞行员的面部图像数据、生理序列数据、主观问卷数据和客观任务绩效数据。通过熵权法对主观与客观数据进行标准化处理和综合分析，计算出飞行员的综合工作负荷水平。采用图像编码器对面部图像数据进行特征提取，结合LSTM时序编码器提取时序特征，通过Transformer模型进行多模态特征的融合和深度学习训练，构建工作负荷检测模型，能够精准地预测飞行员在不同任务难度下的工作负荷，提升飞行员工作负荷检测的准确性和实时性。能够有效捕捉飞行员的瞬时工作负荷变化，解决现有技术中单一数据源的局限。