一种基于语义一致性与运动感知的参考视频对象分割方法

本发明公开了一种基于语义一致性与运动感知的参考视频对象分割方法。所述方法包括如下步骤：1.构建参考视频对象分割数据集的语义提示信息和视频帧信息；2.对参考视频对象分割数据集进行预处理；3.建立基于语义一致性与运动感知的参考视频对象分割模型：设计双分支解耦策略用于在语义和视觉层面对特征信息进行解耦，从而提取文本描述与视觉特征的静态和运动信息；设计分层运动感知模块用于捕捉并对齐不同帧间的运动信息，解析短期和长期运动信息，从而使模型获得对长期运动模式的感知能力；设计语义一致性模块用于对齐语义描述与视频特征，从而提高目标选择的正确率和掩码的完整性，避免负样本误检；设计感知动态融合机制用于将文本信息嵌入到视觉特征空间，使视觉特征能够获取文本语义信息，从而增强模型的跨模态理解能力；4.构建损失函数，更新模型参数，设置训练参数，进行训练，得到最佳权重；5.基于最佳权重来检测测试集图像，得到最终分割结果。本发明有效地解耦了静态和动态信息，增强了对物体运动模式的感知能力，提升了分割性能。