多模态环境下基于注意力机制的堆叠LSTM的轨迹预测方法

本发明公开了多模态环境下基于注意力机制的堆叠LSTM的轨迹预测方法，所述方法包括：通过滑动窗口机制对齐模态数据。设计三层堆叠的LSTM网络结构，即AS‑LSTM网络结构；第一层LSTM输入惯性测量单元IMU特征拼接PointNet++提取的点云特征，第二层LSTM输入第一层线性处理后的隐藏状态拼接CNN提取的图像特征，第三层LSTM输入第二层线性处理后的隐藏状态拼接GPS特征；在第三层LSTM输出隐藏状态上加以注意力机制计算动态权重，并经Dense层输出下一时刻位置预测。以均方误差和决定系数为评价指标，构建最小化预测误差的目标函数。经NCLT数据集训练后可获得比其他LSTM预测方法更低的目标函数值。