一种基于多模态扩散模型从大脑活动重建图像的方法

本发明公开了一种基于多模态扩散模型从大脑活动重建图像的方法，其包括以下步骤：A1、对采集到的脑电图数据进行预处理；A2、将预处理后的脑电图数据输入脑电特征提取网络，得到脑电数据特征；A3、将脑电数据特征分别输入到图像编码回归模型、图像嵌入回归模型和文本嵌入回归模型，得到图像编码结果、CLIP图像嵌入向量和CLIP文本嵌入向量；A4、将图像编码结果作为多模态扩散模型的图像输入，CLIP图像嵌入向量作为图像隐变量，CLIP文本嵌入向量作为提示词隐变量，进行去噪扩散解码，得到重建的图像。本发明可以从脑电信号生成可辨识度较高、比较清晰的图片。