一种基于Transformer多模态融合策略的行人意图预测方法

本发明公开一种基于Transformer结构的多模态融合策略的行人意图预测方法，目前基于RNN结构的行人意图预测能达到不错的性能，但是在处理行人意图预测序列数据时存在梯度消失以及大部分模型对于多模态特征之间融合不够深入，为解决这些问题，本发明提出一种多模态融合策略的Transformer模型，充分利用Transformer的优势，并且引入前置归一化技术用于稳定训练过程并提高模型的泛化能力，以及在该结构中加入额外的激活函数用于捕捉更复杂的特征和模式，改善梯度流动，有效处理行人运动的复杂性，并捕捉时间依赖性和多模态交互，更好地处理行人运动的复杂性。