一种基于信号压缩的移动端情绪识别加速方法及系统

本发明涉及一种基于信号压缩的移动端情绪识别加速方法及系统，其中方法包括以下步骤：利用移动端设备采集语音信号并进行特征提取，利用Fbank编码器生成梅尔频谱图，压缩得到压缩特征；移动端设备将压缩特征发送给服务器；服务器对压缩特征进行还原，得到还原的梅尔频谱图，作为语音模态输入，并对还原的梅尔频谱图进行文本识别，得到文本信息，作为文本模态输入；服务器将语音模态输入和文本模态输入同时输入多模态深度学习网络中进行情绪识别，其中，多模态深度学习网络利用协同注意力模块实现语音模态输入和文本模态输入的融合。与现有技术相比，本发明具有计算和存储效率高、延迟低、识别结果精准等优点。