一种语音处理和模型训练方法及装置

本申请公开了一种语音处理和模型训练方法及装置，该语音处理方法包括：获得语音信号；基于语音信号中的上下文语义信息，利用语音处理模型中的语音编码子模型确定语音信号的语音特征；基于语音特征，利用语音处理模型中的文本转换子模型确定语音信号对应的目标文本。该模型训练方法包括：获得第一语音信号样本及其对应的正确文本；利用语音编码子模型处理第一语音信号样本，得到第一特征；利用文本转换子模型处理第一特征，生成预测文本；基于预测文本中各字符的上下文信息，利用语义理解模型处理预测文本，得到第二特征；基于第一特征与第二特征之间的第一差距及预测文本与正确文本之间的第二差距，调整语音编码子模型和文本转换子模型的参数。