摘要
本发明公开一种机器人三维空间约束细化操作控制系统及方法,属机器人控制领域。系统包括:任务规划模块,将自然语言指令分解为子任务指令和视觉指令,将视觉指令传给约束提取模块,子任务指令传给子任务执行模块;约束提取细化模块,经多模态大模型语义推理结合三维空间坐标映射形成部件级空间约束,并判断部件级空间约束是否要细化,执行对应处理,将约束结果返至任务规划模块,以向子任务执行模块传递;子任务执行模块,接收子任务指令及约束结果,先调用执行条件构建模块结合约束结果获取子任务指令所需执行条件,按执行条件从服务端获取机器人关键速度控制指令,控制机器人执行对应操作。本发明能在复杂环境下控制机器人高效、精准的操作。
技术关键词
子模块
坐标
视觉
指令
语义
机器人
操作控制方法
标签
多模态
规划
控制系统
中心对称
服务端
核密度估计方法
网格
物体位置信息
深度相机
策略
标记