一种基于多模态特征融合的茶芽生长状态识别与监测方法

本发明公开了一种基于多模态特征融合的茶芽生长状态识别与监测方法，涉及技术领域，包括：从提取与茶芽相关的实体、实体间关系及属性，形成“实体‑关系‑属性”三元组；基于采集的茶芽生理参数，构建动态投影矩阵以对实体向量进行投影，并基于生理参数生成调制因子对关系向量进行旋转角度调制，通过调制因子与关系得分函数优化实体关系映射误差；通过视觉特征编码与知识特征解码，建立视觉特征与知识图谱的跨模态关联，以构建语义‑视觉联合表征的融合特征图；基于语义‑视觉联合表征的融合特征图，添加多任务检测头网络，以联合优化损失函数，能够准确判别茶芽类别及其生理状态，克服了传统纯视觉模型在细粒度识别上的泛化能力不足问题。