一种基于多模态特征融合的卒中后认知障碍预测方法

本发明公开了一种基于多模态特征融合的卒中后认知障碍预测方法，搞定的首先采集卒中患者的多模态信息：三维脑部MRI影像、EEG脑电信号以及临床病历信息。其次将MRI转化为张量输入多尺度时空特征提取骨干网络，得到MRI模态特征；将EEG脑电信号采用神经电信号并结合Transformer，得到EEG模态特征；将卒中患者临床病历信息转化为语义句子，输入至双通道语义编码器进行编码提取，得到临床病历信息特征。最后将MRI模态特征、EEG模态特征和临床病历信息特征，输入三模态融合器得到融合特征，经过分类器输出概率预测。本发明实现卒中后认知障碍的精准预测，显著提升了鲁棒性与医学解释性。