一种基于多模态注意力融合与Transformer模型的唇语识别方法

本申请提供了一种基于多模态注意力融合与Transformer模型的唇语识别方法，涉及人工智能与计算机视觉技术领域，包括：对收集的视频流和音频流进行预处理，得到唇部ROI区域图像序列和音频特征，对所述唇部ROI区域图像序列进行标签标定，生成带有时间戳的唇语文本标签，将所述带有时间戳的唇语文本标签作为监督信息，以训练基于Transformer的端到端模型；基于所述唇部ROI区域图像序列，利用自适应残差注意力模块和层级特征提取机制构建的深度网络架构对唇部图像进行多级特征提取，得到唇部特征，基于所述唇部特征和所述音频特征，采用基于注意力机制的策略进行融合，得到多模态特征；基于所述多模态特征，使用训练好的基于Transformer的端到端模型进行唇语序列的识别，以得到唇语识别结果文本。