基于多模态指令的带电作业原子动作序列生成方法、系统、设备及介质

本发明公开了一种基于多模态指令的带电作业原子动作序列生成方法、系统、设备及介质，所述基于多模态指令的带电作业生成方法，基于机器学习根据操作人员的视频、语音意图指令及其对应的机器人动作序列，构建面向动态带电作业环境的机器学习任务模型，确定高质量配网带电作业样本库，对电力行业模型进行微调训练，并基于提示学习进行操作分类描述，得到操作提示模板；注意力多模态模型通过思维链微调训练，提取多模态特征并映射到意图指令模态，电力行业模型通过意图模态指令结合操作提示模板，生成原子动作序列，解决机器人对语义理解困难和效率低，现场操作过程不顺畅，导致作业效率较低、作业时间较长的问题。