摘要
本发明涉及机器人领域,公开了一种机器人点餐方法及系统,包括:获取当前场景的深度图和彩色图;获取目标物品的检测框,根据检测结果,从深度图中裁剪出对应物品的三维点云数据;将所述三维点云数据作为推理模型的输入进行推理,预测候选抓取位姿;根据预测候选抓取位姿,进行轨迹规划与运动执行。本发明能够根据视觉语言模型所提供的信息,结合具体的任务需求,生成合理的动作信息,从而实现对机械臂的控制。
技术关键词
点餐方法
三维点云数据
桌面机械
深度图
机器人点餐系统
指令
物体表面采样
机械臂控制器
音频采集设备
自动语音识别
规划
场景
HTTP请求
货架
文本
驱动机械臂
语音识别模块
抓取网络