基于多模态知识图谱与大语言模型的中医康复诊断系统

本发明公开了一种基于多模态知识图谱与大语言模型的中医康复诊断系统。本发明提供了一种基于多模态知识图谱与大语言模型的中医康复诊断系统，可以用于智能问诊或者临床辅助诊断场景。本发明针对中医康复临床中的多模态数据难以被充分挖掘和利用的问题，提出了一种更为精细的多模态数据融合和知识图谱检索方法。具体而言，本方法首先根据舌苔图像和脉象信号的特性进行针对性预处理；随后，在特征级别上对舌苔、脉象融合并与知识图谱的嵌入进行对齐。这些嵌入向量进一步用于在知识图谱中检索相关实体，从而获取与舌苔、脉象相关的更全面、细粒度的医学知识，增强模型的可解释性与推理能力。