一种基于长短时相关注意力机制的孪生网络跟踪方法

本发明提供一种基于长短时相关注意力机制的孪生网络跟踪方法。本发明基于Transformer架构优化了孪生神经网络的特征融合模块，利用孪生网络的基础架构，对目标区域及模板区域提取相应的特征数据并展开，以ResNet作为骨干网络进行特征提取，在特征融合网络中，该方法发明了一种长短时相关注意力机制作为互相关运算模块中的多头注意力机制，利用孪生网络架构，设计了一种交叉连接实现的多分支特征融合网络，从而使长短时相关注意力机制可以同时利用长时及短时图像帧的特征数据，增强目标跟踪网络的鲁棒性，有效的减少模型漂移的产生，适用于具备强大计算能力的平台。本发明在复杂场景下能够更为出色的完成跟踪任务。