摘要
本申请提供了一种具身机器人的处理方法、装置、电子设备及存储介质,包括:获取具身机器人针对于目标场景的当前视觉信息、任务指令信息以及当前机械臂状态信息;将当前视觉信息、任务指令信息、当前机械臂状态信息输入至全局状态中间监督网络模型之中进行视觉预测处理以及动作预测处理,预测出具身机器人的下一时刻视觉信息以及身机器人的动作块序列;当具身机器人执行完动作块序列后将下一时刻视觉信息以及执行完动作块序列的机械臂状态输入至全局状态中间监督网络模型之中继续进行视觉预测处理以及动作预测处理,直至具身机器人完成任务指令信息所对应的目标任务时停止预测。显著提升了具身机器人在复杂操作场景中的适应性和执行精度。
技术关键词
机器人
机械臂
深度视觉特征
注意力机制
视觉特征提取
序列
融合特征
图像
深度特征提取网络
机器可读指令
运动特征
多模态
电子设备
金字塔池化
系统为您推荐了相关专利信息
智能护理机器人
冲洗装置
故障检测机构
气压传感器
联动机构
机器人底座
弧形压块
液压
工业机器人技术
十字形凹槽
酒店运营管理
优化管理系统
补货机器人
照明设备启闭
下行数据流量
光伏组件
光伏阵列
清扫路径规划方法
场地基础
地图