配网带电作业机器人指令意图的理解方法及系统

本发明提供了一种配网带电作业机器人指令意图的理解方法及系统，方法包括步骤S1：构建数据集以及知识图谱，生成实体场景图及实例间可供性关系图；步骤S2：接收不同模态的指令信息，并对实体场景图、实例间可供性关系图以及指令信息进行表征统一和特征融合；步骤S3：基于得到的表征统一和特征融合的结果、数据集以及知识图谱，通过多模态机器人大模型推理出对指令意图的理解，并将这种理解以状态机形式呈现。本发明充分利用了文本、音频和图像等多模态信息，对环境、可供性和指令进行特征提取、统一和融合，实现了对多模态输入指令的意图理解，进而完成对配网带电作业机器人的控制。