一种基于数字孪生的远程多视角视频拼接与监测方法及系统

本发明涉及数字图像处理与计算机视觉技术领域，公开了一种基于数字孪生的远程多视角视频拼接与监测方法及系统，该方法包括构建含几何、材质、语义信息的数字孪生模型，标定并初始配准多视角相机；基于模型与相机参数，采集预处理视频流，结合模型精化相机位姿；利用模型与精化位姿预测期望视觉内容，对预处理视频帧进行非刚性对齐；基于对齐视频帧，利用模型语义优化拼接缝合线生成重构视频，并结合模型上下文修复信息缺失；最后，将修复的重构视频与数字孪生模型集成监测交互，比较检测异常，并用重构视频更新模型。本发明解决了传统远程监控在场景综合感知、智能异常检测以及环境数字表示与物理现实同步性方面存在的问题。