一种基于多任务学习的空管对话式语音识别方法及装置

本发明提供了一种基于多任务学习的空管对话式语音识别方法及装置。通过构建语音特征表示学习模块与语音活动检测模块的联合学习模型，实现语音分割与内容识别的协同优化。首先，设计分段遮蔽对比预训练策略，通过乘积量化码本构建监督信号，使语音特征表示学习模块在无标注数据中学习细粒度声学特征；其次，设计双分支联合训练模式微调模型，其中，主分支通过连接时序分类损失优化语音识别任务，辅助分支利用二元交叉熵损失提升语音段边界检测精度，同时结合动态任务权重调节策略平衡多目标优化方向；最后，创新性地引入动态局部窗口注意力机制，依据实时分割索引聚焦有效语音段的上下文建模。