一种基于多模态视听融合的transformer语音识别方法、系统、设备及介质

本发明公开了一种基于多模态视听融合的transformer语音识别方法、系统、设备及介质，包括获取待处理的音视频数据，音视频数据包括成对的音频数据和视频数据；音频数据特征提取，得到音频特征；视频数据特征提取，得到视频特征；将提取的音频特征和视频特征输入Transformer模型中，输出预测的文本信息；Transformer模型包括编码器、解码器以及混合CTC/attention。本发明将原始信号转换为Transformer模型可处理的特征向量后，通过整合音频和视频模态的信息，并应用动态的权重分配来平衡不同模态间的信息贡献；利用编码器和解码器结构实现了语音到文本的转换，同时借助多头自注意力机制捕获了输入序列内部各位置间的依赖关系，解决了语音识别在复杂环境中的表现受限于噪声、口音和语速影响的问题。