摘要
本发明公开了一种基于多模态与预训练模型的视觉语义栅格地图构建法,包括以下步骤:采集数据;利用预训练模型获取语义图像;获取全局和局部三维坐标及其对应的色彩及语义信息;构建栅格地图。本发明充分融合多模态数据,利用RGB‑D相机的深度图像、彩色图像及相机位姿信息,融入语义信息,让地图兼具空间布局、视觉及语义特征,提升机器人对环境的理解,增强地图在不同场景下的实用性与适配性。本发明为地图中的每个点赋予语义信息,可使机器人更好地理解环境,实现与人类更自然的交互,提高地图构建的实用性和易接受性。
技术关键词
栅格地图构建
彩色图像
相机
矩阵
坐标系
多模态
像素
制图系统
语义分割模型
视觉
构建栅格地图
色彩
预训练模型
融入语义信息
字典
机器人对环境
系统为您推荐了相关专利信息
机器人定位方法
特征地图
特征分布信息
坐标系
采样点
速度控制方法
速度控制系统
加速度
机器人位姿
矩阵