一种基于多任务卷积神经网络的桑叶采摘机器人综合视觉信息采集方法

本发明公开了一种基于多任务卷积神经网络的桑叶采摘机器人综合视觉信息采集方法，主要包括以下步骤：步骤1、使用图像采集设备于桑园中采集桑树数据集；步骤2、对原始数据集进行预处理、得到桑树数据集和其对应标签，并将预处理后的数据集按照8：1：1的比例划分为训练集、验证集与测试集；步骤3、以原始YOLOv8‑pose为基础网络，构建可实现桑叶目标识别、桑叶茎关键点定位、桑树枝干分割的多任务端到端模型mulberry‑Net；步骤4、配置深度学习环境，将训练集和验证集输入mulberry‑Net模型中进行训练，得到最好的训练权重(best.pt)，使用测试集进行验证；步骤5、将best.pt权重文件部署桑叶采摘机器人上。本发明可以在一个模型中完成桑叶目标检测、叶柄的关键点定位与枝干分割等任务，为桑叶采摘机器人获取到了全面的视觉信息。