一种基于双重知识引导图提示学习的医学图像分类方法

本发明公开了一种基于双重知识引导图提示学习的医学图像分类方法，包括：1、获取多模态数据；2、构建知识引导的关系图模块，对每一类别的文本和图像提取特征，构建类别级文本和视觉知识图；3、知识引导的关系迁移学习模块，将待学习提示向量嵌入文本知识图，采用图卷积网络对双知识图进行关系传播，获得融合特征；4、模型参数优化，基于交叉熵损失训练提示向量和图卷积网络参数，获得用于医学图像分类的最优模型。本发明通过集成结构化的文本与视觉专业知识，并利用图结构显式建模类别间关系，实现了提示语的动态优化与视觉特征的语义解缠，显著增强了模型的跨域泛化性能及诊断可靠性。