一种基于多模态的茶叶嫩芽检测方法和装置

本发明公开了一种基于多模态的茶叶嫩芽检测方法和装置，采用所构建的茶叶嫩芽检测网络模型进行茶叶嫩芽检测，将采集的RGB图像和深度图像分别输入双分支特征提取模块的第一分支和第二分支，分别得到两个分支提取的多尺度特征，然后在颈部网络中，对第一分支和第二分支输出的相同尺度特征先通过时间级联和3D卷积进行跨模态融合，然后通过特征金字塔对各个尺度的跨模态融合特征进行进一步的特征融合，在检测头中，特征金字塔输出的特征经过连接后输入到解码器中，得到检测结果。本发明充分利用RGB和深度中高质量特征信息，结合3D跨模态融合达到对两种模态特征的渐进式融合，在跨品种茶叶嫩芽检测任务中可以达到较高准确率和泛化性能。