一种基于多模态特征融合的语音脑机接口解码方法

本发明公开了一种基于多模态特征融合的语音脑机接口解码方法，包括：（1）获取原始神经信号和面部肌电信号，同步获取对应的文本序列；（2）分别提取神经信号特征和肌电信号特征；对于文本序列，提取音素序列后提取文本特征和音素特征；（3）构建基于多模态特征融合的解码模型，包含编码器和解码器；（4）对于神经信号特征、肌电信号特征和音素特征，经过编码器中的嵌入层后两两组合计算特征相似度，基于对比损失函数训练编码器；（5）基于CTC损失函数对解码器进行训练；（5）应用过程中，将待解码的神经信号和肌电信号输入解码模型，最终得到预测文本。本发明可以解决神经信号不稳定与噪声干扰对解码性能的影响，增强解码模型的鲁棒性。