摘要
本发明公开了一种基于人脑情景记忆通路启发的文本视频检索方法,方法包括利用内容编码组件对目标文本数据或目标视频数据进行内容表征提取获得多尺度目标表征;利用情境编码组件对目标文本数据或目标视频数据进行情境表征提取获得目标令牌;将多尺度目标表征和目标令牌输入至双曲图神经网络获得目标场景表征;将目标场景表征作为目标索引;计算待检索文本或视频的表征与目标索引的相似度,根据相似度对待检索文本或视频进行筛选获得目标检索结果;本发明通过多粒度信息融合全面捕捉的多层次语义特征,通过双曲图卷积操作融合多模态、多粒度的高阶信息,能够更好地捕捉文本和视频之间的复杂关系,显著提升了文本视频检索的精度与效率。
技术关键词
令牌
节点特征
视频检索方法
神经网络架构
多层感知机
文本编码器
融合特征
场景
视觉感知特征
数据
注意力
双曲正切函数
多层次语义特征
系统为您推荐了相关专利信息
深度神经网络
深层特征提取
优化高斯混合模型
识别方法
线性
图像分类方法
预训练模型
卷积神经网络模块
文本编码器
标记
电路仿真
分区技术
剪枝方法
训练机器学习模型
机器学习模型训练方法