摘要
本发明公开了一种特征注意力和双线性门控融合的语音情感识别方法及装置,包括以下步骤:步骤1:采集音频文件并获取对应标签信息,通过预处理生成音频波形与时频表征数据,同时构造音频波形掩码与时频掩码以标记有效信息区域;步骤2:构建双路径特征提取模块,包括时频特征提取模块与预训练声学特征编码模块;其中时频特征提取模块通过局部卷积与多维度注意力机制建模情感相关性,并基于双向门控循环网络进行全局时序建模;预训练声学特征编码模块利用预训练模型提取对情感区分具有强表达能力的高层语音表示;步骤3:构建特征融合模块和情感分类模块,并结合双路径特征提取模块组成语音情感识别模型。
技术关键词
语音情感识别方法
注意力
双线性
声学特征
语音情感识别模型
特征提取模块
音频波形数据
门控循环单元
输出特征
编码模块
动态门控
频率
局部特征提取
通道
门控循环网络
情感类别