多模态的视频摘要标记方法及相关设备

本申请的实施例提供了一种多模态的视频摘要标记方法及相关设备。该多模态的视频摘要标记方法包括：获取待标记视频的视频流信息和音频流信息；对视频流信息和音频流信息进行特征融合，得到统一嵌入向量；将统一嵌入向量输入摘要生成模型，得到视频摘要文本，视频摘要文本包括总结摘要文本以及分段摘要文本；将各分段摘要文本标记于对应的视频段中，得到已标记视频段；将总结摘要文本标记于待标记视频上，得到已标记视频。本申请实施例的技术方案通过特征融合，视频和音频信息能够在统一的向量空间中进行处理，避免了信息丢失，提高了信息融合的准确性和完整性。