融合视觉和文本信息的端到端割草机作业控制方法、装置及设备

本发明公开一种融合视觉和文本信息的端到端割草机作业控制方法、装置及设备，该方法步骤包括：被控割草机启动后，获取周围环境的图像数据；对获取的图像数据由分割与文本生成模型进行语义分割以识别出图像中的割草区域以及障碍物区域，并根据图像数据中障碍物区域的分布状态确定下一步的动作指令，生成对应的任务文本信息；将图像数据以及任务文本信息传递给视觉‑语言模型；由视觉‑语言模型提取出视觉特征并与任务文本信息进行融合得到融合特征，通过自注意力机制进行路径规划，生成路径控制参数，提供给被控割草机的控制器。本发明具有实现成本低、资源消耗少、控制精度以及效率高且环境适应性强等优点。