一种基于数字孪生场景下的视频数据处理方法及系统

本申请提供一种基于数字孪生场景下的视频数据处理方法及系统。其中，对视频帧序列进行时空特征提取，以确定出第一时空特征矩阵；从视频帧序列中分割出多个视频要素，并生成每个视频要素对应的要素分割遮罩；生成第二时空特征矩阵；基于第二时空特征矩阵，获取动态要素对应的2D运动轨迹；将动态要素的2D运动轨迹映射到3D空间中，以创建或更新目标虚拟3D场景模型，并通过目标虚拟3D场景模型生成预测的视频帧序列；根据预测的视频帧序列与视频数据所分解的视频帧序列的比较结果，调整目标虚拟3D场景模型中的模型参数。本申请提供的技术方案能够有效提高视频数据处理的效率。