一种基于全局-局部时空LSTM建模的神经形态眼动跟踪方法

本发明属于计算机视觉领域，是一种基于全局‑局部时空LSTM建模的神经形态眼动跟踪方法，包括：利用全局特征提取模型GFMM和多尺度特征提取模型MSM，结合长短期记忆网络LSTM构建神经形态眼动跟踪模型；将神经形态视觉数据转换为帧图像，输入神经形态眼动跟踪模型中提取时空特征；全局特征提取模型利用多头注意力机制，捕获全局特征；多尺度特征提取模型利用卷积操作识别局部特征；将全局特征提取模型和多尺度特征提取模型输出的特征输入至回归层，实现眼动跟踪。本发明在局部上提供多尺度识别细微结构变化并捕捉精细的细节，在眼睛区域尺度、角度变化方面有适应性，在全局上捕获眼睛区域的整体布局，并且能够进一步提取时空信息的特征。