一种EEG视觉刺激混合模态解码方法及系统

本发明公开了一种EEG视觉刺激混合模态解码方法及系统，该方法包括下述步骤：获取EEG数据，构建图像‑类别‑语义的三态EEG数据集；混合模态编码器从EEG数据中学习得到对应的图像、类别、语义模态信息；将三态EEG数据集映射到相对应的CLIP空间，获得目标模态；将混合模态编码器输出的模态信息与目标模态进行对比学习，基于图像模态信息进行图像的检索和分类任务；构建扩散先验模型，将混合模态编码器输出的图像、类别、语义模态信息与目标模态在CLIP空间中对齐，输出经扩散先验处理的图像、类别、语义模态信息，并输入预训练的图像生成模型进行生成任务。本发明能有效解码脑数据的多种模态，提高检索与重建任务效果。