一种基于多源数据融合的虚拟视点生成方法和系统

本发明公开了一种基于多源数据融合的虚拟视点生成方法和系统，属于虚拟视点生成技术领域，方法包括：收集多源数据，包括参考视点视频、深度数据、环境传感器和用户交互数据；将预处理后的多源数据进行特征提取和融合，识别用户意图；图像立体匹配，输出视差图，并结合识别的用户意图，对遮挡区域进行视差补偿；以视差连续性约束、场景合理性和与用户头部姿态的匹配度为优化目标，采用粒子群优化算法来优化虚拟视点的位置和视角方向；根据优化的虚拟视点的位置和视角方向，初步生成虚拟视点图；对初步生成的虚拟视点图中深度不连续区域进行空洞检测和修复。本发明整合了多源数据，让虚拟视点更真实生成，且提升交互性。