基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统

本发明公开了基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统及方法，包括以下步骤：采集垂体神经内分泌肿瘤患者的术前、手术、随访的多模态数据并进行预处理；基于病理分类的预测模型，将预处理后的多模态数据分为文本类数据和图像类数据，并分别提取各模态数据特征，将提取的各模态数据特征进行交互，获得融合的多模态特征；利用融合的多模态特征，对病理分类的预测模型进行训练；将待测的患者术前、手术、随访的多模态数据输入通过训练的病理分类的预测模型，获得对应的垂体神经内分泌肿瘤的分类信息。本发明利用患者的医疗文本信息和术前多尺度影像学检查进行病理分类的预测模型，实现垂体神经内分泌肿瘤准确分类。