一种基于跨模态一致性融合与模态动态平衡机制的帕金森病联合诊断方法

本发明涉及多模态数据融合及帕金森病诊断领域，特别涉及一种基于跨模态一致性融合与模态动态平衡机制的帕金森病联合诊断方法。该方法首先，利用多尺度多通道卷积神经网络提取核磁共振成像数据的模态特异性特征，并通过多层感知机提取转录组学数据的模态特异性特征；然后，设计了一个以跨模态注意力机制为内核的跨模态一致性融合模块进行模态间的共识特征融合，最后通过模态动态平衡机制协调两种模态间的特异性与一致性信息，生成用于人类神经系统疾病诊断的联合表示。该方法提出了跨模态一致性融合与模态动态平衡机制应对异构数据的不一致性，实现两类数据模态的优势互补，得到增强的联合特征表示，以提高疾病诊断的准确性和可靠性。