一种光流估计和场景流估计的方法、设备及介质

一种光流估计和场景流估计的方法、设备及介质，构造相同结构的图像模型和点云模型共同训练，训练阶段图像模型和点云模型分别互为教师模型及学生模型进行跨模态特征蒸馏融合；推理阶段采用训练所得学生模型进行光流估计和场景流估计，跨模态蒸馏融合的方式大幅提高了计算效率与预测性能。本发明创新性地提出使用跨模态蒸馏融合进行光流估计与场景流估计的方法，通过构建结构相同的图像模型和点云模型，建立跨模态知识蒸馏框架，在多个位置进行跨模态特征蒸馏融合以实现跨模态知识迁移。本发明不仅能为光流估计与场景流估计的多模态融合提供高效解决方案，同时推动相关技术在自动驾驶、三维场景理解、智能感知、视频监控等领域的研究与应用发展。