一种基于多模态学习的荔枝表型识别与估重方法

本发明涉及荔枝表型分析技术领域，尤其一种基于多模态学习的荔枝表型识别与估重方法，其技术方案包括：将RGB图像与深度图像作为双模态输入，输入至LitchiPhenoNet模型中，实现果实的检测与分割，采用RD融合模块显著提升多模态特征表达能力和分割性能，该融合策略综合RGB图像的纹理细节与深度图像的空间结构信息，提高检测与分割的准确性与鲁棒性；基于LitchiPhenoNet直接提取的几何特征和抽象中间特征，采用多模态回归方法进行果实重量估算，该回归模型结合来自视觉和物理两个方面的信息，通过结合这两类特征，回归模型能够有效提升多模态数据的利用效率和预测精度，该多模态回归框架有效整合几何特征和中间视觉特征的互补信息，从而提高荔枝重量估计的准确性和鲁棒性。