一种基于时空信息增强的多任务学习视频实例分割方法

本发明公开了一种基于时空信息增强的多任务学习视频实例分割方法，涉及计算机视觉技术领域，其基于包括递进跟踪器、细化补偿器和空间交互模块的多任务学习视频实例分割模型进行视频实例分割；递进跟踪器用于基于多头注意力机制利用前一片段的降噪实例查询对当前片段的分割实例表示进行干扰信息过滤；细化补偿器用于动态调整关注区域，从全局上下文中挖掘相关信息；空间交互模块用于计算降噪实例表示之间的相关性。本发明实现了对目标物体在视频序列中的在线和半在线实例分割，结合过往帧抗干扰实例表示和基于时序的多头注意力机制，充分挖掘了视频时序信息，通过动态调整关注区域和帧间实例的交互信息表示，丰富了跟踪器的判别信息。