基于多模态医学影像的新辅助放化疗疗效预测方法及系统

本发明公开了一种基于多模态医学影像的新辅助放化疗疗效预测方法及系统，包括：分别获取患者在接受新辅助放化疗前的结直肠MRI图像和内镜图像；分别对MRI图像和内镜图像进行裁剪，通过训练好的深度残差网络模型，分别提取MRI图像和内镜图像的初级特征向量；将提取的MRI图像和内镜图像的初级特征向量输入至训练好的MRI‑内镜多模态融合模型，得到患者对新辅助放化疗病理反应的预测结果；本发明方法综合了MRI图像和内镜图像所带来的信息，分别提取两种图像的初始特征向量，然后将初始特征向量作为输入，进行特征向量的拼接和深度特征提取，最后得到对于新辅助放化疗疗效的预测结果；提高了预测新辅助治疗疗效的准确性。