一种基于跨模态融合和可学习权重的视频非刚体运动目标分割方法

本发明涉及一种基于跨模态融合和可学习权重的视频非刚体运动目标分割方法，首先采用优化旋转平行四边形算子与极平面图像技术对光场图像中的多视角数据进行处理，提取光场特征。得到的光场信息作为输入，将RGB特征与光场特征通过加权特征融合网络有效结合这两种模态的信息，强化图像的几何特征。在分割过程中，光场深度特征图与标签权重预测图相结合，得到最终的权重预测。将预测的权重图、标签预测器预测的标签以及当前帧的跨模态融合特征图，输入进少样本学习器中，通过反向传播算法更新目标模型的参数，自适应地调整标签权重，为后续帧中的分割任务提供指导。最后，将目标模型输出的掩码编码以及融合特征一起输入进解码器中，生成最终的分割结果图。本发明提出的方法能够将非刚体目标在低光且有遮挡的场景下分割出准确的结果，且只需要少量的数据集，减少了视频分割数据集的标注成本。