摘要
本发明实施例提供了用于人形机器人上肢协同控制的交互方法,包括:对所接收的语音请求进行任务分析;若存在需要执行的目标物,则根据任务分析结果进行目标物识别处理;基于识别处理输出的目标识别信息和目标位姿信息,以及任务分析结果,利用大语言模型根据双臂分工协作原则进行任务规划处理,生成任务序列以及每个任务对应的文字指令;对任务序列中每个目标任务依次执行如下操作:基于目标位姿信息以及目标识别信息,控制人形机器人上肢对目标物执行与目标任务对应的操作动作;由此,本实施例以大语言模型为基础,配合视觉模块和语音模块,不仅使用户能够更直观地与机器人交流;而且还能够提高人形机器人上肢执行复杂任务的操作能力。
技术关键词
人形机器人上肢
大语言模型
语音
抓取手势
机械臂
指令
交互方法
序列
文本
运动轨迹规划
双手
交互装置
图谱
控制模块
系统为您推荐了相关专利信息
文本
非易失性存储介质
对象
音频
神经网络模型训练
语义功能
软件开发工具包
车载终端
计算机程序指令
语音提示信息
轨道系统
移动传感器
多段可拆卸
驱动件
安装机械臂