基于深度学习的视频内容分析方法、设备、介质及产品

本申请涉及视频处理领域，公开了一种基于深度学习的视频内容分析方法。通过获取原始视频文件，将原始视频文件进行解码得到目标视频文件；对目标视频文件进行初步检测，获取目标视频文件的基本信息；依据目标视频文件的基本信息进行自适应采样，将目标视频文件转换为帧图像数组；采用时空金字塔注意力网络对镜头衔接点进行检测，依据检测到的镜头衔接点将帧图像数组切分为至少两个片段；采用动态对比学习框架，从每个片段中抽取关键帧图像；采用上下文感知的多任务学习网络对关键帧图像进行字幕移除处理，采用循环渐进式多模态对齐网络对关键帧图像生成图像描述。可以至少用以解决现有技术的局限性，提供更高效、更准确的视频内容分析解决方案。