摘要
本发明提出一种层次化意图驱动的人形机器人人机交互系统及其方法,涉及人机交互领域,有效解决了深度学习方法在长时间任务规划中的不足,同时克服了大规模预训练模型在细粒度控制方面的限制,确保机器人能够在动态、复杂的环境中自如适应并稳定执行任务,提升了人机交互的智能化水平与系统的鲁棒性。系统通过场景理解模块提取场景中的关键对象点信息;通过姿态预测模块预测机械臂的未来短期姿态序列;通过多模态大模型实现的机器人行为决策模块根据关键对象点信息和未来短期姿态序列完成机器人高阶行为预测;通过机器人规划代码生成模块根据关键对象点信息、未来短期姿态序列以及机器人高阶行为预测生成机器人规划代码。适用于人机交互应用领域。
技术关键词
人形机器人
人机交互方法
人机交互系统
生成机器人
关键点
意图
序列特征
模块
双线性插值方法
决策
场景
对象
规划
预测机器人
多模态信息
预测机械
深度学习方法
上下文特征
系统为您推荐了相关专利信息
面部关键点
表情识别方法
卷积网络模型
特征提取网络
注意力
人体工学枕
枕头
智能推荐方法
智能推荐系统
图像
手部关键点
手势跟踪方法
动态手势
车舱
图像捕捉
人脸表情
人脸姿态
人脸关键点
表情模型
视频生成方法