基于多视角的模态缺失鲁棒音视频自监督学习方法及装置

本发明提供一种基于多视角的模态缺失鲁棒音视频自监督学习方法及装置，包括通过三维头像重建生成多视角唇动视频数据；将多视角和模态缺失处理后的音视频特征输入编码器，提取多视角一致和模态缺失适应的多模态特征；解码器接收多模态特征，应用于下游语音相关任务。本发明解决了多模态音视频语音识别系统在多视角变化、视频模态缺失情况下性能急剧下降的问题，在视频模态缺失时，基于音频特征重建音视频联合特征。采用本发明方法，可以有效提高存在不同视角和视频模态缺失情况下多模态语音处理相关任务的鲁棒性。