摘要
本发明属于机器人领域,提供基于多模态信息融合的机器人自动开门方法、系统及介质。方法包括在机器人不停车运动过程中,实时判断机器人是否进入巡检地图中预先标记的开门区域,并根据判断结果来实时控制机器人的行驶速度;当机器人进入开门区域时获取门图像、机器人状态数据及环境感知数据,进而基于预先训练好的多模态信息融合门状态识别模型,识别对应门状态;若当前门状态为关闭状态时,则向门控制器发送开门指令,同时利用多模态信息融合门状态识别模型对实时的门图像、机器人状态数据、环境感知数据进行处理,以实时判断门状态,直至门状态为开启状态时结束判断。
技术关键词
多模态信息融合
开门方法
门状态识别
环境感知数据
图像采集装置
机器人本体
图像采集参数
速度控制模块
地图
处理器
机器人系统
指令
标记
运动
可读存储介质
存储器
系统为您推荐了相关专利信息
布料激光切割
切割布料
图案
执行装置
训练样本图像
运动预测方法
激光雷达点云数据
多模态信息融合
点云特征提取
三维点云数据
姿态测量方法
矿用液压支架
坐标系
模组
图像采集装置
多模态信息融合
锂电池
筛选方法
时序特征
融合特征
光伏支撑装置
环境感知数据
角度调节方法
光伏面板
风速