一种基于语音和语义识别的用户心理状态监测方法及系统

本发明涉及一种基于语音和语义识别的用户心理状态监测方法及系统，该方法首先获取用户的语音数据和对应文本数据，分别提取语音频谱特征向量和文本特征向量；然后，将两种特征输入跨模态联合编码网络模型，利用多头注意力机制对齐语音频谱与文本嵌入空间，获取联合特征；接着，通过贝叶斯网络模型提取联合特征的置信度权重，得到加权特征，并利用高斯混合模型拟合情绪波动趋势，计算情绪分布概率；根据情绪分布概率动态调整置信度权重，获得新的加权特征，经时序对齐处理后，使用卷积神经网络提取局部信息并融合特征；最后，通过softmax函数计算分类概率，确定用户心理状态分类结果。