一种视频标注生成方法、装置及相关设备

本申请提供了一种视频标注生成方法、装置及相关设备，方法包括：将获取的多个原始视频输入训练好的视频标注生成模型中；针对每个原始视频获取其视觉特征；基于视觉特征，获取实体表征、谓语表征和句子表征；将获取的句子表征分为偶数视频帧句子表征和奇数视频帧句子表征，并根据偶数视频帧句子表征和奇数视频帧句子表征采用对比学习的方式进行相似度矩阵监督；对各个原始视频的输出特征进行整合并获取用于生成字幕的聚合特征。本申请设计了三种视频编码器对时序细节和空间信息进行建模，这有助于从不同角度和粒度捕捉视频帧的特征，增强帧间信息的提取，避免帧间信息内容提取不充分。