基于机器人的多模态融合感知方法和电子设备

本申请提供了一种基于机器人的多模态融合感知方法和电子设备，该方法包括：获取机器人所在环境的图像数据、点云数据和环境数据，获取机器人的时间序列数据，时间序列数据表征在当前时刻至过去某个时刻之间机器人的运行数据；分别对图像数据、点云数据和时间序列数据进行特征提取，得到图像特征、点云特征和时间序列特征；利用注意力机制，根据图像特征、点云特征、时间序列特征和环境数据，确定融合权重；根据融合权重，对图像特征、点云特征和时间序列特征进行特征融合，得到融合特征；根据融合特征，对机器人进行路径规划。本申请解决了现有技术中机器人多模态融合感知系统在复杂环境下的感知精度和鲁棒性较低的问题。