摘要
本发明公开了一种低重力环境下机器人搬运方法、系统和存储介质,通过采集操作员绘制的简笔画和当前舱内的真实场景图像,将所述简笔画和真实场景图像输入完成训练的双分支视觉编码器模型中,生成用于控制机器人来完成物料搬运作业的基础动作序列指令,然后在执行基础动作序列指令进行目标抓取过程中实时监测目标旋转角速度,若大于设定阈值则驱动机器人夹爪向反方向进行转动微调。从而实现了纯视觉指令交互以适应低重力场景中语音交互完全不可用的情况,同时解决了低重力下物体受力易产生无规则旋转抓取困难的问题。
技术关键词
机器人搬运方法
真实场景图像
低重力环境
物料搬运作业
物体特征信息
图像特征向量
跨模态
融合特征
工业机器人运动学
图案
机器人搬运系统
图像编码器
节点
卷积神经网络提取
形状特征提取
指令
系统为您推荐了相关专利信息
真实场景图像
数据生成模型
语义特征
文本
噪声数据
工业机器人视觉
行走单元
行走组件
异形连杆
中央处理器
数据采集模块
状态检测模块
异常检测方法
车辆参数信息
分析模块
引导系统
血管
微光传感器
多光谱成像
头戴式显示设备