基于层次知识引导双流图神经网络识别多标签舌象的方法

基于层次知识引导双流图神经网络识别多标签舌象的方法，包括以下步骤：从舌象语料库中获取所有舌象类别的语义嵌入向量，对语义嵌入向量进行优化获得层次化语义；依据层次化语义和舌象类别的关联关系构建图并得到类别表示；获取舌象图像，利用训练好的ResNet‑101模型对舌象图像进行特征提取，得到视觉特征图；利用对齐模块将视觉特征图和层次化语义在特征空间中对齐，得到层次化语义引导的视觉表示；基于视觉表示构建图并得到每个类别的输出向量；对类别表示和每个类别的输出向量进行组合，得到舌象分类结果，本发明通过层次化语义引导得到视觉表示，增强类别之间的交互，优化视觉表示的表达；提高识别结果的准确性。