基于用户行为的多模态语音转换方法及系统

本发明涉及语音识别与合成技术领域，揭露了一种基于用户行为的多模态语音转换方法及系统，包括：对骨导信号进行振动分离，得到分离振动信号，将脸肌微电流映射为肌肉形变梯度，通过隐式行为数据分析用户的意图强度；将肌肉形变梯度映射为用户的语音基频，将分离振动信号线性转换为用户的语音共振峰，基于意图强度，对非语音活动段进行噪声注入，得到噪声注入语音；通过预设的正交正则化声码器中的正交投影层构建语音基频、语音共振峰及噪声注入语音对应的用户行为语音；通过正交正则化声码器中的骨导合成层将语音特征向量与用户行为语音合成为骨导传播语音。本发明可以提升多模态语音转换技术的准确率。