一种基于多模态特征融合的室内机器人导航方法

本申请涉及一种基于多模态特征融合的室内机器人导航方法。所述方法包括：基于视觉观测环境信息构建语义地图；获取室内场景物体的RGB图像，并将其转换为点云数据，并对所述RGB图像和点云数据进行预处理；分别提取所述RGB图像和点云数据中的图像多层语义特征和点云特征，并进行初始融合；采用空间‑通道‑跨模态多注意力动态协同对所述图像多层语义特征和点云特征进行加权融合；基于融合后的特征图和所述语义地图预测自上而下的地图空间中的长期目标，基于当前位置和长期目标进行导航路径规划。在低成本硬件配置下，全面提升动态复杂环境中环境感知的鲁棒性、决策响应的实时性以及系统集成的易用性，尤其适用于室内服务机器人等应用场景。