一种基于头部动态和第一人称视角视频的视线预测方法

本发明属于智能交通和视线预测领域，公开一种基于头部动态和第一人称视角视频的视线预测方法。具体步骤包括：利用惯性测量单元采集头部动态数据，GoPro相机获取第一人称视角视频，并以可穿戴式眼动仪获取的视线坐标作为训练标签；将视频降分辨率后，采用YOLOv5s提取关键对象特征，光流算法计算光流特征，同时提取全局灰度特征并规范化；通过视频帧编码器与IMU编码器分别处理两类数据，拼接特征后经网络训练，将预测结果与真实坐标可视化于视频帧。本发明通过多模态特征融合，实现了微移动交通场景下的视线预测，为微移动交通的安全预警与管理提供了低成本、高性能的技术方案，可广泛应用于骑行安全监测、交通流优化等场景。