一种基于Transformer的多模态癌症预后评估方法

本发明的目的是提供一种基于Transformer的多模态癌症预后评估方法,包含以下步骤：S1、多模态数据预处理,对病理进行前景分割，切分patch，得到patch特征，进而聚类得到形态特异性表示的表型簇。对多组学数据进行表达显著性分析，筛选显著表达特征；S2、单模态建模，基于Transformer和两阶段的注意力聚合层得到强大的病理表示，基于自归一化网络(SNN)实现多组学建模；S3、跨模态交互，使用跨模态Transformer实现密集的组学‑表型簇共注意映射；S4、多模态融合，使用一个统一的Transformer编码层将跨模态交互特征、各单模态特征以及临床信息整合得到最终的多模态表示；S5、风险预测，将最终的多模态表示输入到风险预测模块，得到风险预测结果。本发明有效融合病理和多组学特征，促进临床决策。