一种基于跨模态的长尾视频检测方法

本发明提出了一种基于跨模态的长尾视频检测方法，解决传统视频检测模型易被头部类别主导，导致尾部类别识别率低的问题。将视频和音频数据作为输入，提取音频特征、视觉特征及视觉运动特征；通过数据增强策略对特征进行重新组合，平衡长尾分布；利用音频特征引导视觉注意力机制，增强与音频相关的视觉特征表示；通过时序建模捕捉时间序列信息，并基于关联分析筛选正样本聚合特征；动态构建高置信度分支和低置信度分支，结合运动特征进行多分支特征融合；通过时序特征编码器优化分类表示，按比例叠加各分支预测结果，提升对尾部类别的分类性能。本发明通过跨模态特征协同优化和动态分支加权策略，显著提高了长尾视频数据中尾部类别的识别准确率。