语义地图构建方法以及机器人的控制系统

本申请提供了一种语义地图构建方法以及机器人的控制系统，其中，该方法包括：获取全景图像以及点云数据；将全景图像输入全景图像编码器中进行多尺度编码处理，生成多个尺度下的全景特征图；确定点云数据在全景图像的相机坐标系下的参考点集合；根据先验语义网络、参考点集合以及多个尺度下的全景特征图进行跨模态特征融合处理，得到目标特征图；根据目标特征图以及解码器，生成语义地图。本申请能够通过几何约束指导特征采样偏移，减少球形投影失真，并融合全景摄像头和激光点云的优势，实现全景视觉与激光雷达的几何兼容性对齐，解决了机器人在复杂环境中的感知瓶颈，将物理限制转化为感知优势，显著提升了机器人在复杂环境中的感知能力。