基于多模态计算机视觉的大叶绣球冠层生长情况智能识别方法

本发明公开了基于多模态计算机视觉的大叶绣球冠层生长情况智能识别方法，通过采集大叶绣球植株的数字图像，预处理后裁剪成图像块；采用无监督预训练的深度神经网络模型提取图像块的局部形态学特征；基于跨模态对比学习的文本‑图像对齐深度神经网络，利用标注的文本信息进行弱监督训练，实现图像与文本信息的关联学习；将文本特征与图像特征进行多模态特征融合；基于融合表示特征，针对不同任务，设计输出分支模型，进行大叶绣球冠层生长情况预测或识别。本发明有效融合图像和文本两种模式的多模态信息，并利用两种互补的预训练方法来提取不同的级别的视觉表示，实现多任务处理，并且达到极高的精度。