基于多模态特征融合的中医舌诊与组方推荐系统

本发明属于智慧医疗技术领域，具体涉及基于多模态特征融合的中医舌诊与组方推荐系统。系统包括：数据预处理模块，用于对舌象图像数据与文本数据进行预处理；特征提取模块，用于对经过预处理的舌象图像数据与文本数据，进行图像特征与文本特征的提取；多模态特征融合模块，用于采用自注意力机制作为核心融合策略，将提取的图像特征与文本特征进行有效融合，生成联合特征；多任务学习模块，用于在所述联合特征的表示基础上，完成多个任务的并行学习；模型训练与优化模块，用于设计训练方法、损失函数及优化算法，使多任务神经网络模型在处理联合特征后，完成病名判断、症候判断和组方调理推荐的目标。