一种茄果类采摘机器人及其果簇观测位姿估计方法和装置

一种茄果类采摘机器人及其果簇观测位姿估计方法和装置，该茄果类采摘机器人包括果簇观测位姿估计装置，该装置用于实现果簇观测位姿估计方法，该方法包括如下步骤：采集茄果类植株的RGB图像数据与深度数据；对RGB图像数据与深度数据分别进行归一化后，输入训练好的双模态融合语义分割模型，预测RGB图像中的果实和茎秆两个类别对应的掩膜；提取掩膜连通区域对应的深度信息结合密度聚类方法进行局部掩膜细化；聚类提取单果串点云，计算每簇果串点云中心信息，并提取果串临近的茎秆点云进行直线拟合；以及根据果串点云中心与对应茎秆拟合直线垂点相对位置确定末端相机观测位姿。本发明有效提高了采摘机械臂末端相机对果梗采摘点的识别定位精度。