摘要
本申请提供一种机器人控制方法、装置、设备及存储介质,涉及机器人控制技术领域。方法包括:获取机器人执行任务的机器人数据,根据数据定学习数据集;基于初始视觉语言模型建第一机器人动作预测模型;根据数据集和第一机器人动作预测模型得第二机器人动作预测模型;取机器人时序、图像数据和语言指令,输入第二机器人动作预测模型,使时序数据经预设时序模型和多层投影器入第二语言模型,使图像数据经视觉编码器和投影器入第二语言模型,使语言指令经第一语言模型入第二语言模型,第二语言模型输出待执行连续动作;根据连续动作控制完成任务。时序模型捕捉时序特性,使第二机器人动作预测模型输出连续待执行动作,有效保障操作平滑性与连贯性。
技术关键词
动作预测模型
机器人控制方法
数据
计算机执行指令
时序
机器人控制装置
机器人控制技术
投影器
图像
可读存储介质
视觉
处理器通信
存储器
模块
误差
场景
系统为您推荐了相关专利信息
EtherCAT协议
采集卡
存储模块
网口
控制器
自然语言
约束优化算法
多模态数据采集
分析器
参数
阵列
焦平面读出电路
图像降噪方法
随机噪声
条纹