基于三维场景重建和多模态大模型的自动驾驶决策方法

本申请涉及自动驾驶技术领域，尤其涉及基于三维场景重建和多模态大模型的自动驾驶决策方法，该方法包括：对驾驶场景中当前时间步的静态背景进行增量静态3D高斯建模，得到背景高斯模型；对驾驶场景中当前时间步的动态物体进行复合动态高斯图构建，得到动态物体高斯图；将所述动态物体高斯图集成到所述背景高斯模型中，得到当前时间步的路况高斯场；根据多视角图像对所述路况高斯场进行渲染，得到当前时间步的路况平面图像；基于实时的所述路况平面图像和训练完成的自动驾驶网络系统得到下一时间步的行驶路径。本申请根据路况平面图像预测行驶路径时，能够结合多模态大模型LLM实现意图理解与规划对齐。