音频理解模型的训练方法、音频理解方法、装置、存储介质和程序产品

本公开涉及一种音频理解模型的训练方法、音频理解方法、装置、存储介质和程序产品。所述方法包括：获得预训练的语音识别模型和大型语言模型；语音识别模型包括编码模块、预测模块和第一融合模块；根据语音识别模型和大型语言模型，构建音频理解模型，其中，音频理解模型包括编码模块、大型语言模型主体和第二融合模块；通过编码模块提取音频样本对应的声学特征序列，通过大型语言模型主体提取音频样本对应的语义特征序列；通过第二融合模块基于声学特征序列和语义特征序列，确定能够生成音频样本对应的目标文本标签序列的所有有效对齐路径，并计算所有有效对齐路径的总概率；根据总概率，更新音频理解模型的参数。本公开能够提升语音识别的精度。