摘要
本发明涉及机器人领域,公开了一种桌面清理方法及系统,包括:在指令获取步骤,获取用户下达的语音指令,并通过语音识别模块将其转换为原始文本;语义解析步骤,启动LLM模型,对原始文本进行语义解析,将其转换为标准化结构化任务指令,并生成对客户的回复语;场景感知与任务规划步骤,启动VLM模型,将所述标准化结构化任务指令转化为包括多个子任务的任务序列;将多个所述子任务逐一传递至VLA模型,动作生成步骤,场景感知与任务规划步骤,所述VLA模型将子任务实时地转换为机器人可执行的、连续的动作指令;机器人执行与控制步骤,将生成的动作指令下发至机械臂控制器,驱动机械臂完成桌面清理动作。本发明能够实现全流程自动化桌面清洁。
技术关键词
桌面清理方法
机械臂控制器
语音识别模块
指令
驱动机械臂
机器人
自然语言
文本
语义
轨迹
音频采集设备
自动语音识别
场景
规划
机械臂关节
序列
电子设备
可读存储介质
末端执行器