摘要
本发明涉及一种时空特征重要性感知的文本视频检索方法,属于文本视频检索技术领域。该方法具体包括:对视频中的每一帧和文本描述分别作特征提取,通过重要性感知机制来选取视频中的关键帧,并且利用基于语义通信的信源信道联合编码方法,保持查询文本在传输过程中的语义信息。将每一帧的图像块特征聚合到对象原型中,将对象与文本描述中的短语进行匹配,感知视频帧中的空间信息。本发明通过对不同的对象组合为不同的事件原型,将其与整个文本描述进行匹配,利用帧与帧之间的关联时间信息提高文本与视频之间的细粒度匹配,通过优化视频内容的时空特征处理和特征重要性评估,能够在大规模视频数据中实现高效检索,减少冗余计算,提升视频检索精度。
技术关键词
视频检索方法
原型
视频帧特征
信源信道联合编码方法
文本
语义
图像块特征
联合信源信道
对象
关键帧
信道编解码器
视频检索技术
AWGN信道
开发动态
特征提取网络
噪声
注意力
系统为您推荐了相关专利信息
电力设备故障诊断
计算机程序指令
注意力机制
跨模态
时序
信息提取模型
信息提取规则
订单信息获取方法
订单生成方法
文本
光学遥感图像识别
视觉特征
遥感图像数据
样本
适配器