基于循环生成模态补全的短视频场景识别方法及系统

本发明提出了基于循环生成模态补全的短视频场景识别方法及系统，涉及短视频场景识别技术领域。包括将每个模态的原始数据分别划分为模态完整数据和模态缺失数据；基于多个模态完整数据学习多模态的一致性表示，得到每个模态完整数据对应的一致性语义表示；并基于每个模态的原始数据学习各个模态的特定表示；将每个模态完整数据对应的一致性语义表示和对应模态的特定表示相融合，将缺失数据补全后的各模态数据补充到多模态原始数据中，再次学习多模态的一致性表示，并通过分类网络得到场景分类结果。本发明利用短视频多模态数据之间的语义一致性，在短视频场景识别的过程中生成具有丰富语义的补全数据，进而提升短视频场景识别的性能。