摘要
本发明公开一种语音识别预训练模型微调的方法及系统、语音识别方法及系统,其中微调方法包括以下步骤:获取音频样本及其标注样本,将所述标注样本作为相应的偏好样本;将所述音频样本输入至预训练模型中,由所述预训练模型进行语音识别,获得相应的第一识别样本,将所述第一识别样本作为相应的非偏好样本;构建训练数据,每条训练数据包括音频样本,及与所述音频样本相对应的偏好样本和非偏好样本;向预训练模型中添加低秩适配器,构建目标微调模型;基于所述训练数据对目标微调模型进行偏好对齐优化训练;基于优化完成的目标微调模型确定目标语音识别模型。本发明能够引导目标微调模型学习偏好样本的同时,避免生成非偏好样本,能够有效提高模型效果。
技术关键词
预训练模型
样本
语音识别模型
音频
语音识别方法
数据
编码器
比率
适配器
语音识别系统
输入解码器
微调方法
处理器
识别模块
终端设备
存储器