一种融合眼动追踪与脑电图的意识障碍辅助交流系统

本发明公开了一种融合眼动追踪与脑电图的意识障碍辅助交流系统，包括数据采集设备，与多模态BCI交流系统连接，用于收集头皮脑电信号与眼动信号；多模态BCI交流系统，通过检测、分析从交流范式中采集的多模态数据，可识别被试的回答(是/否)，从而实现在线二元交流；该多模态BCI交流系统包括多模态目标识别网络，而多模态目标识别网络具体包括：数据预处理模块，用于对不同模态数据的预处理与同步；双流特征提取模块，由两个独立的多尺度卷积神经网络组成，分别用于EEG和眼动数据，以针对不同模态的数据进行特征提取；在本发明中，设计了一种整合了P300电位和眼动追踪的新型BCI交流范式；P300检测和眼动跟踪检测具有不可替代性和互补性。