摘要
本申请实施例提供一种基于多模态数据的场景空间三维模型动态建模方法,通过融合视频序列、点云数据和IMU数据的特征信息,采用粒子滤波算法建立时空对应关系。基于Transformer的多模态场景分析网络实现场景语义理解,结合空间密度、深度遮挡和形状变化特征计算场景评分,通过深度强化学习训练的策略网络选择最优建模算法。同时,利用深度神经网络和图神经网络分析场景动态特征,实现动态区域的自适应网格细分和几何约束重建,根据场景语义类型动态调整重建阈值。该方法有效提升了大规模复杂场景的三维重建质量和效率。
技术关键词
建模算法
动态建模方法
ORB图像特征
序列
粒子滤波算法
三维模型
三维卷积神经网络
扩展卡尔曼滤波器
点云
深度强化学习
重建误差
数据
前馈神经网络
多模态特征
加速度
场景语义理解