摘要
本发明提供了一种基于多模态指令的带电作业原子动作序列生成方法及系统,方法包括步骤S1:接收多模态指令并进行意图理解,理解为带电作业多模态数据集和知识图谱中所包含的带电作业任务;步骤S2:基于理解结果将带电作业任务分解为数个元任务;步骤S3:将每个元任务分解为具有逻辑关联的原子动作序列;步骤S4:将机器人的作业状态用符合人类直觉的语义字符进行描述,若检测到任务执行失败风险,则根据人的指令或机器人自行判断,对任务全局或局部重规划。本发明利用任务经验记忆和领域知识,对复杂任务进行层级规划,并基于状态反馈,对机器人的执行器误差或环境变化进行实时重规划,从而提高了带电作业机器人任务执行的实时性和鲁棒性。
技术关键词
动作序列生成方法
多模态
序列生成系统
指令
辅助机器人
引导机器人
图谱
蒙特卡洛树搜索
大语言模型
带电作业机器人
意图
强化学习框架
记忆
执行器
规划算法
增量更新