一种多模态化疗响应预测的系统及其方法

本发明公开了一种多模态化疗响应预测的系统及其方法，所述数据集基于化疗数据相关的病理图像数据和基因数据；所述第一数据处理模块通过多参数协同采集化疗患者病理图像切片分割与孔洞消除获得组织病理图像数据块；所述第二数据处理模块基于化疗患者基因按照基因表达标准化查询基因数据集获得第一病理基因特征向量；所述第三数据处理模块基于ImageNet预训练的ResNet‑50模型对组织病理图像数据块处理获得第一病理图像特征向量；所述双线性池化模块基于跨模态交互方法组合所述第一病理基因特征向量与所述第一病理图像特征向量获得融合病理图像基因特征向量；所述注意力聚类模块基于多实例学习将融合的病理图像特征和基因特征进行包级预测，获得患者化疗响应；本发明可以更准确和可靠地预测患者接受化疗后的潜在响应。