基于医学知识的多模态智能医疗场景动态推理方法及装置

本申请提出了一种基于医学知识的多模态智能医疗场景动态推理方法及装置，获取用户的多模态数据，将多模态数据提取为多模态特征，将文本模态特征输入到预设有医学知识图谱的图神经网络中进行特征增强得到医学知识增强文本特征，将文本模态特征输入到存入用户个性化健康档案的记忆网络中进行特征增强得到档案增强文本特征，将医学知识增强文本特征和档案增强文本特征进行拼接得到上下文增强文本特征；将上下文增强文本特征以及多模态特征输入到预训练的多模态融合模型中输出融合特征；将融合特征输入到由多个推理节点以图结构构建的动态推理树中确定最优推理节点，以最优推理节点对融合特征进行推理，实现适应医学场景的动态推理。