一种多模态辅助的无创言语脑机接口解码方法

本发明公开了一种多模态辅助的无创言语脑机接口解码方法，属于言语脑机接口信号解码领域，该方法利用任务相关模态来辅助脑信号特征提取器的学习，综合考虑言语发声机制，将标签信息转化为文本和语音信息，利用对比学习来指导脑信号特征提取器的训练；将提取到的脑特征输入分类头，通过对分类损失的梯度下降进一步改进来完成解码器的训练。该方法不过分依赖先验知识，能简单高效的解码大脑言语活动。在实际使用中，只需要收集用户的大脑信号，即可实现言语解码。为言语脑机接口提供了一种有效的解码方式，为进一步的探索提供了帮助，有望在未来推动言语脑机接口系统在医疗康复、信息通讯、娱乐等领域的更广泛应用。