一种基于多模态特征聚合网络的苹果叶部病害识别方法

本申请公开了一种基于多模态特征聚合网络的苹果叶部病害识别方法，通过多分支网络模型CT‑CLIP提取图像的局部特征和全局特征并进行融合获得图像输出融合特征；向CT‑CLIP输入文本信息获得文本全局特征；将图像输出融合特征与所述文本全局特征进行跨模态特征融合和增强获得分类融合特征；CT‑CLIP根据所述分类融合特征对苹果叶部病害进行分类识别。分别对图像从两个不同的方向进行特征提取获得局部特征和全局特征并融合，然后提取文本的文本全局特征对模型进行语义指导，从而防止特征信息在传输和交互过程中的丢失或退化，渐进地设计了一个自适应特征融合模块，可以动态加权来自不同图像分支网络的特征，从而提高识别精度。