一种基于多模态交互学习的癌细胞预后预测方法

本发明公开一种基于多模态交互学习的癌细胞预后预测方法，基于患者的组织病理图像，进行组织病理特征嵌入；基于患者的基因组数据，进行基因组特征嵌入；构建的癌细胞预后预测模型，获得预测结果；在所述癌细胞预后预测模型中包括单峰提取器、多模态最优特征捕获单元和多模态分层交互单元；单峰提取器通过两个编码器分别对基因数据和图像数据进行特征提取，得到单峰特征表示；然后在多模态最优特征捕获单元中，在对抗性学习的支持下，构造多粒度空间来解耦多模态信息；随后，多模态分层交互单元通过两个双边交叉注意模块缩小异质性差距，实现多粒度交互。本发明充分整合互补信息模式同时消除冗余，增强精确癌细胞生存预测的表示能力。