一种面向多模态神经信号的上下文语义协同建模方法

本发明属于语义分析技术领域，具体涉及一种面向多模态神经信号的上下文语义协同建模方法，步骤包括对多模态神经信号进行预处理，计算不同模态的神经信号的脑区特征值，获取处理后的多模态神经信号脑区特征值；对于获取的每个独立被试处理后的多模态神经信号脑区特征值，构建脑区级上下文语义注意力模型，衡量不同模态的神经信号及不同脑区在全脑工作中的语义表达信息；建立基于GCN改进的注意力机制模型，并在其中加入多头注意力模型，进行全脑语义提取。本发明可以在小样本条件下构建对多模态神经信号进行准确表达的模型，具有较强的识别能力和泛化效果，能够更好的应用于精神疾病的辅助诊断。