一种基于共注意力模态前融合的预后预测方法

本发明涉及一种基于共注意力模态前融合的预后预测方法，该方法通过图神经网络和预训练卷积神经网络分别提取术后病理图像中的细胞相互作用特征和形态特征，以构建病理组学表示，利用人工预定义特征组和预训练放射大模型提取影像图像中的形状纹理和形态特征形成影像组学表示，采用共注意力机制捕捉病理组学与影像组学之间的交互作用，获得基于影像共注意力下的跨模态病理组学表示，最后输入两个多实例学习模块，以获得预后预测结果。与现有技术相比，本发明全面整合了病理和影像的多组学与形态学信息，并通过共注意力多实例学习框架有效捕捉二者间的交互作用用于预后预测，显著提升了传统分级分期指标、单模态模型及多模态后融合方法在预后预测中的准确性。