一种联合语音进行多模态对齐的脑电视觉重构方法和系统

本申请提供了一种联合语音进行多模态对其的脑电视觉重构方法和系统，通过将语音信号与脑电信号、图像信号进行联合训练与对齐，显著提升了多模态信息的利用率，并优化了脑电信号质量，与现有技术中基于脑电‑图像对训练的单一模态重构方法相比，能够显著提高图像重构的质量。