摘要
本发明涉及一种室内移动服务机器人交互任务执行方法、装置及存储介质、室内移动服务机器人系统。该方法获取原始视觉数据和原始空间数据并分别进行处理,获取原始音频信号并转化为文本信号,得到动态交互输入指令;利用预设的大语言模型解析动态交互输入指令,得到待处理任务对应的元动作序列;根据元动作序列,按顺序执行待处理任务中的每个元动作,每个元动作在执行时调度对应的处理后的视觉数据和空间数据;当元动作的执行结果确认后,语音播报当前的任务执行状态,完成任务交互。与现有技术相比,本发明具有处理任务复杂广泛,动态适应性强,交互自然,室内服务场景的任务执行成功率高等优点。
技术关键词
室内移动服务机器人
自动语音识别方法
文本转语音方法
彩色视觉信息
机器人传感器
动态
音频
障碍物地图
序列
麦克风设备
信号
指令
静态障碍物
深度学习模型
多模态
数据
模块
系统为您推荐了相关专利信息
文本
多模态
自动语音识别方法
特征提取模型
数据存储
动态障碍物
移动机器人避障
坐标系
闪避障碍物
强化学习环境
施工管控系统
人机协作
数据收集模块
人机交互模块
图形用户界面
人形机器人
一体化方法
一体化系统
交互设备
机器人传感器
自主探索方法
坐标系
机器人位姿
世界地图
点云信息