基于多模态的场景感知方法、装置、电子设备和存储介质

本公开提供了一种基于多模态的场景感知方法、装置、电子设备和存储介质。本公开实施例提供的方法中，先提取多视角图像序列的图像特征和4D雷达数据序列获的雷达特征，使用历史雷达特征和当前雷达特征在BEV空间与体素空间建模动态场景与静态场景的时空演化以得到动态场景特征和静态场景特征，再针对图像特征、动态场景特征和静态场景特征进行跨模态交互融合得到多模态融合特征，该多模态融合特征可直接用于3D目标检测、语义占用预测和/或运动状态估计。本公开能够在复杂环境下实现高精度、高效率的场景理解。