一种基于视觉的农业环境感知与机器人辅助采摘方法

本发明公开一种基于视觉的农业环境感知与机器人辅助采摘方法，该方法采用端对端检测，跟踪和分类框架，含物体检测与跟踪，特征提取，活动识别，目标位置估算，机器人调度器五个独立模块，利用RGB摄像头和二维激光雷达获取信息，通过定制长短期记忆网络处理数据，与其他方法相比，本方法采用的端对端架构能够使系统全面处理从采摘者活动检测到机器人辅助操作的整个流程，采用的多摄像头信息融合能够准确估算采摘者在不同距离范围内的位置，采用的定制长短期记忆网络能够准确预测采摘者的行为活动。