一种基于自监督学习的视频内容分析方法及相关装置

本申请提供一种基于自监督学习的视频内容分析方法及相关装置，涉及软件技术领域，预先以自监督学习的方式训练获得不同模型。对待处理的目标视频进行视频分段得到第一说话人对应的第一视频片段；通过音频检测模型将第一视频片段中的音频转换为第一音频文本，通过字幕检测模型和文本识别模型提取第一视频片段中的第一字幕文本，以及，通过视频编码器提取第一视频片段的视觉向量表示；以第一音频文本和第一字幕文本构建提示词，对提示词进行分词得到第一视频片段的文本向量表示；将文本向量表示与视觉向量表示拼接后送入大语言模型中，以获得大语言模型输出的视频内容分析结果。本申请通过无监督学习提高模型的泛化性，实现不同视频内容分析任务。