摘要
本发明公开了一种基于语义概念分解的细粒度视频片段检索方法,首先构建训练样本集,并构建视频片段检索模型,对于查询和视频分别提取文本概念表示和视频概念表示,根据查询生成查询相关性矩阵,利用查询相关性矩阵分别对文本概念表示和视频概念表示进行稀疏概念合并后再融合,再由时刻解码模块解码得到视频片段的起始和结束时间;采用训练样本集对视频片段检索模型进行训练,后续即采用训练好的视频片段检索模型进行视频片段检索。本发明基于语义概念分解,提取文本概念表示和视频概念表示,能够更加有效地捕捉和识别语义中的细粒度概念,从而提升视频片段检索的性能和效率。
技术关键词
概念
视频片段检索方法
查询特征
多层感知机
文本编码器
照片
解码模块
交叉注意力机制
融合特征
视频编码器
训练样本集
编码模块
语义
跨模态
系统为您推荐了相关专利信息
预测决策一体化
场景上下文
多模态
轨迹规划器
解码器
语义特征
图像编码器
文本编码器
多层感知机
文本数据生成方法
图像增强方法
深度学习模型
全局特征提取
局部特征提取
模块