一种基于混合Transformer的驾驶员视线映射方法

本发明涉及一种基于混合Transformer的驾驶员视线映射方法，涉及计算机视觉、图像处理、人机交互等技术领域。驾驶员的视线与驾驶员注意力和意图密切相关，为了有效估计驾驶员在驾驶过程中对道路环境的关注点，本发明提出多尺度交叉注意力网络(Multi‑Scale Cross‑Attention Network，MSCA‑Net)。该网络通过Transformer和Res net并行地提取驾驶员面部特征和眼睛特征，并在不同尺度上引入交叉注意力，有效解决了因面部图像特征冗余而导致视线映射性能下降的问题。为了有效融合驾驶员眼睛特征，提出了双眼特征融合模块(Binocular Feature Fusion Module，BFFM)，该模块通过通道注意力和空间注意力的交互来融合双眼特征，显著提升了MSCA‑Net的视线映射精度。该网络能够有效估计驾驶员视线，可广泛应用在驾驶员注意力分析和人车交互等领域。