一种语音识别模型训练方法、装置及可读存储介质

本申请提供一种语音识别模型训练方法、装置及可读存储介质，所述方法包括：数据准备：通过外部知识库进行多源信息融合修正以及特征提取处理，得到训练数据；模型构建，包括：改进的Whisper编码器、判别器网络、改进的Whisper解码器以及多模态编码器；模型训练：通过训练数据对构建的模型进行训练，得到训练模型；模型评估：通过多维度指标对训练模型进行评估，得到评估结果。本申请可以提高模型的鲁棒性和泛化能力，提高识别精度，提升模型的综合性能，提升模型在多模态任务中的性能。