一种基于Swin Transformer的交通视频文本跟踪方法

本发明公开了一种基于Swin Transformer的交通视频文本跟踪方法，特点是利用前后帧的图像中文本的关联性，通过DropMAE模块恢复被遮挡的文本，接着通过可形变文本检测模块为模型提供了灵活的感受野，再结合空间注意力机制融合不同尺度的第二检测特征图像，接着在文本匹配时结合了文本实例的视觉特征、语义特征以及几何特征，获取文本相似度邻接矩阵，最后将文本实例图像关联至视频文本跟踪过程中具有文本关联的最小距离的文本实例图像所形成的目标文本轨迹；优点是解决文本的漏检问题，能准确捕捉文本实例的边界，提升模糊变形文本实例的检测精确度，对目标交通视频的文本检测跟踪性能较佳。