一种基于多模态与预训练模型的视觉语义栅格地图构建法

本发明公开了一种基于多模态与预训练模型的视觉语义栅格地图构建法，包括以下步骤：采集数据；利用预训练模型获取语义图像；获取全局和局部三维坐标及其对应的色彩及语义信息；构建栅格地图。本发明充分融合多模态数据，利用RGB‑D相机的深度图像、彩色图像及相机位姿信息，融入语义信息，让地图兼具空间布局、视觉及语义特征，提升机器人对环境的理解，增强地图在不同场景下的实用性与适配性。本发明为地图中的每个点赋予语义信息，可使机器人更好地理解环境，实现与人类更自然的交互，提高地图构建的实用性和易接受性。