一种全息听视觉融合场景的跨模态一致性建模与优化方法

本发明涉及图像分析技术领域，具体为一种全息听视觉融合场景的跨模态一致性建模与优化方法。首先，通过摄像头与投影设备分别采集投影图像与学生行为图像，并进行预处理，得到预处理投影图像和预处理学生行为图像；然后，对预处理投影图像进行多源关联图像增强、区域分割和多尺度特征提取，生成视觉特征并与三维声场参数对齐；接着，对预处理投影图像和预处理学生行为图像进行语义引导的图像注意力分割，并根据分割结果动态调整视觉场景参数；最后，利用基于多尺度梯度流融合与稀疏优化的图像边缘检测方法对预处理学生行为图像进行图像边缘检测，生成稀疏边缘图用于评估与反馈；本发明能够提高全息听视觉融合场景的沉浸感。