基于卷积加注意力机制的手机端面部动作恢复语音系统

本发明提供一种基于卷积加注意力机制的手机端面部动作恢复语音系统，涉及语音处理技术领域，该系统包括数据采集模块、数据处理模块、模型训练模块和语音生成模块。数据采集模块调用手机加速度传感器实时同步采集面部加速度与语音数据并传输至电脑；数据处理模块在电脑端接收、对齐、存储数据并去噪以增强信噪比；模型训练模块构建模型，先由卷积神经网络注意力模型将加速度数据转成梅尔语谱图，再经声码器生成语音；语音生成模块把处理后的面部加速度数据输入训练好的模型，生成语音并按需传出。该系统有效解决现有问题，实现从面部动作到语音的恢复，具有良好应用前景。