一种多模态的驾驶员分心状态识别算法

本发明提供一种多模态的驾驶员分心状态识别算法，包括以下步骤：模态数据包括通过输入编码模块对模态数据进行卷积处理，得到对齐模态数据所述对齐模态参数包括对同一时间段的各对齐模态参数在通道维度进行拼接，得到拼接数据X，通过时间&通道注意力模块对拼接数据X处理，得到X时间注意力和通道注意力的相关性结果OTCA1；通过全连接模块，对相关性结果OTCA1进行三层全连接操作，每层全连接后进行批量归一化和激活，最终给出分类结果Y；所述分类结果Y包括分心、不分心；实现发挥不同模态数据在驾驶分心识别的优势，实现对多模态数据进行接近真实过程的处理，解决各个模态间的相关性问题和各模态数据中包含的时序信息问题，提高驾驶分心识别精度和准度。