摘要
本发明提供一种基于具身流表示的无动作标注机器人操作轨迹预测方法及装置,方法包括:将机器人的具身流中的初始点位置、语言任务指令中的文本特征和初始图像中的视觉特征,作为多模态条件特征,并将多模态条件特征输入至机器人轨迹预测模型中,得到具身流信息,机器人轨迹预测模型能够综合考虑机器人自身的运动、语言指令中包含的物体相关信息以及初始图像中的视觉特征,从而生成更准确的具身流信息,使机器人能够精准地与特定物体进行交互;获取机器人的各关节的运动约束信息,基于各关节的运动约束信息,将具身流信息通过正向运动学映射分解为各关节的动作分量,充分考虑了机器人的不同关节的运动学约束,从而实现对机器人动作的精确控制。
技术关键词
轨迹预测方法
轨迹预测模型
机器人
动作预测模型
关节
正向运动学
视觉特征
多模态
图像
摄像机
非暂态计算机可读存储介质
噪声
轨迹预测装置
文本
处理器
样本
关键点
执行器
系统为您推荐了相关专利信息
环视功能
可见光相机
四足机器人
照度
激光雷达点云数据
盘式电机定子
盘式电机转子
减速器壳体
电机组件
谐波减速器组件
管道缺陷识别方法
坐标点
边界轮廓
标记
管道缺陷识别技术
抗干扰定位方法
多模态
仓库
三维点云数据
抑制高频噪声