基于多模态双向循环场景流的动态点云压缩方法、系统、存储介质及设备

本发明公开了一种基于多模态双向循环场景流的动态点云压缩方法、系统、存储介质及设备。本发明首先给定连续两帧的点云数据和对应的图片数据，分别提取特征；将图像特征张量与点云特征张量相加，获得融合特征向量；依据特征向量和坐标矩阵得到连续两帧的潜在表示；随后将连续两帧的潜在表示输入至多尺度特征提取模块，获得运动向量。对该运动向量以及前一帧的潜在表示进行运动补偿和压缩。然后基于上下文进行残差压缩，重构残差张量；最后将预测帧和残差张量相加后输入至点云重建模块得到当前帧。本发明利用跨模态信息，实现了不同模态之间的信息互补；从粗到精的方式迭代双向增强特征和场景流估计，在保持高效率的同时显著提高性能。