基于多模态扩散模型的视觉诱发脑信号解码方法及系统

本发明公开了基于多模态扩散模型的视觉诱发脑信号解码方法及系统，该方法能够从fMRI信号中重建高分辨率图像，并生成描述性文本。该方法通过轻量级回归模型将fMRI信号映射到图像‑文本细节潜在特征空间，以及CLIP模型的图像‑文本高级语义特征空间，利用多模态扩散模型在联合条件引导下生成图像与文本。本发明融合图像与文本特征的多条件语义信息，首次实现使用多模态潜在扩散模型从脑信号中同时生成高保真图像和文本描述，功能脑区分析揭示其在特定语义内容解码方面的优越能力。本发明为脑机接口、神经科学研究及医疗辅助诊断提供解决方案。