基于多模态对比融合与图神经网络的数据处理方法、设备以及介质

本发明涉及一种基于多模态对比融合与图神经网络的数据处理方法、设备以及介质，采集mRNA表达数据、DNA甲基化数据和miRNA表达数据的多模态生物医学数据集样本；通过独立的前馈神经网络编码器得到三种模态的嵌入矩阵；采用基于NT‑Xent的对比学习机制，对不同模态的嵌入矩阵进行无监督对比对齐，生成对齐后的三种模态的嵌入矩阵；将对齐后的模态嵌入堆叠为序列，输入多层Transformer编码器得到统一融合表征；对融合表征进行归一化，并构建样本相似性图结构；基于所述图结构和融合表征，通过三层图卷积网络提取节点高阶邻接特征，结合两层全连接层完成样本分类，输出样本分类结果。与现有技术相比，本发明具有跨模态数据融合优化、增强医学数据判别和高效率等优点。