基于多模态神经影像与深度学习的短时记忆判别方法

本发明公开了基于多模态神经影像与深度学习的短时记忆判别方法，包括以下步骤：S1、同步EEG‑fMRI设备，采集静息态和记忆任务中的脑电信号与BOLD信号；S2、对S1步骤采集的数据进行预处理；S3、通过卷积神经网络提取EEG和fMRI的特征数据；S4、通过位置编码和注意力机制加权融合EEG和fMRI的特征数据，生成联合特征向量；S5、基于ELM算法对联合特征向量进行分类，输出记忆状态判别结果。本发明的有益效果是：通过采集并融合得到的fMRI与EEG数据，结合CNN与ELM算法实现高精度记忆状态分类，与行为学结果做相关分析，用神经影像数据判别短时记忆特征信号，同时解析记忆编码与巩固的神经机制。