摘要
本公开提供了一种音频编码器训练方法、语音识别方法、装置、电子设备及存储介质,涉及智能座舱技术领域中的AI或人工智能技术。该方法包括:将训练数据分别输入第一训练模型和第二训练模型;第一训练模型和第二训练模型具有关联关系;训练数据中包括:音频数据和文本数据;通过第一训练模型对训练数据进行特征提取,得到第一特征表示;通过第二训练模型对训练数据进行特征提取,得到第二特征表示;根据对应的第一特征表示和第二特征表示,确定第一损失;根据第一损失对第二训练模型进行训练;响应于第二训练模型训练收敛,基于第二训练模型构建音频编码器。本公开扩展了训练数据范围,将文本数据引入训练,能够学习到更丰富的语言特征。
技术关键词
音频编码器
词嵌入向量
语音识别方法
文本
音频特征提取
非临时性计算机可读存储介质
大语言模型
智能座舱技术
参数
序列
语音识别装置
数据输入模块
语音识别模块
模型训练模块
电子设备
移动终端
分词