一种基于多模态深度学习的肿瘤识别方法

本发明公开了一种基于多模态深度学习的肿瘤识别方法。步骤包括：S1：采集多模态数据，分别构成影像特征矩阵与基因特征矩阵。S2：将影像模态特征矩阵输入一种卷积神经网络模型编码器，获得影像特征表示，将基因模态特征矩阵输入一种多级渐进嵌入式编码器，获得基因特征表示。S3：设计一种利用模态协同注意力融合机制，包括交叉模态注意力机制与门控残差连接，用于生成融合特征表示。S4：分类预测，将融合后的特征表示输入至设计的一种分类模型，输出对应的肿瘤类别预测标签。本发明提出的肿瘤识别方法，能够提升特征融合表达的精准性与分类器对类别边界的区分能力，进一步提高肿瘤识别的准确性与鲁棒性。