摘要
本发明实施例提供了用于人形机器人上肢协同控制的交互方法,包括:对所接收的语音请求进行任务分析;若存在需要执行的目标物,则根据任务分析结果进行目标物识别处理;基于识别处理输出的目标识别信息和目标位姿信息,以及任务分析结果,利用大语言模型根据双臂分工协作原则进行任务规划处理,生成任务序列以及每个任务对应的文字指令;对任务序列中每个目标任务依次执行如下操作:基于目标位姿信息以及目标识别信息,控制人形机器人上肢对目标物执行与目标任务对应的操作动作;由此,本实施例以大语言模型为基础,配合视觉模块和语音模块,不仅使用户能够更直观地与机器人交流;而且还能够提高人形机器人上肢执行复杂任务的操作能力。
技术关键词
人形机器人上肢
大语言模型
语音
抓取手势
机械臂
指令
交互方法
序列
文本
运动轨迹规划
双手
交互装置
图谱
控制模块
系统为您推荐了相关专利信息
智能垃圾处理装置
智能控制系统
智能识别模块
智能通风系统
垃圾存储
训练语音模型
矫正模型
修复方法
序列
上下文特征
蒙汉神经机器翻译方法
大语言模型
蒙古语
关键词
平行语料库