基于词级别交互和逐词情感量加权的多模态情感分析方法

基于词级别交互和逐词情感量加权的多模态情感分析方法属于深度学习技术领域。本发明首先利用BERT和Wav2vec 2.0预训练模型实现文本模态和语音模态词级别特征向量的提取；利用Transformer编码器和线性层得到文本语音双模态词级别交互的语句级特征向量；利用Bi‑LSTM模型实现对词级别特征向量按逐词情感含量加权，得到逐词情感含量加权的文本语音双模态语句级特征向量。最后实现将文本语音双模态词级别交互的语句级特征向量和逐词情感含量加权的文本语音双模态语句级特征向量融合得到多模态含多粒度信息的语句级特征向量，并利用全连接网络对语句情感识别。本发明降低粒度差异导致的情感信息丢失。