一种基于多模态数据的炎症性肠病疗效预测系统

本发明公开了一种基于多模态数据的炎症性肠病疗效预测系统，涉及医疗信息处理领域。所述系统包括：多模态数据获取模块，用于接收多模态数据；文本特征提取模块，用于利用文本特征提取模型确定文本特征向量；内镜肠黏膜特征识别模块，用于利用内镜肠黏膜特征识别模型确定肠黏膜特征；影像特征识别模块，用于利用影像特征识别模型确定影像学特征；病理特征提取模块，用于利用病理识别模型确定病理特征；疗效预测模块，用于利用Transformer模型及全连接层，基于多模态数据特征，进行生物制剂疗效预测。相较于现有技术，本发明实现基于临床‑病理‑内镜‑影像多模态特征融合的生物制剂疗效预测，提高了诊疗决策的准确性及临床合理性。