语音识别翻译模型的训练方法、语音识别翻译方法及装置

本申请实施例提供语音识别翻译模型的训练方法、语音识别翻译方法及装置，涉及大语言模型技术领域。该方法设定三个阶段的训练过程，在第一个阶段用样本量较大的语音识别集合训练语音识别翻译模型的语音识别能力，在第二个阶段，用少量的有监督语音翻译样本进行多模态的机器翻译任务，最后第三个阶段将语音识别和翻译任务进行联合训练，此时语音识别翻译模型在同一个框架内同时进行识别、翻译的操作，减少多阶段处理带来的误差累积，实现高质量的端到端语音识别翻译过程。这种分阶段的课程学习策略，使得语音识别翻译模型能够在数据有限的情况下逐步学习复杂的任务，提高模型的泛化能力，避免因为有监督的数据量不足导致的模型难以收敛的问题。