基于全局与局部语义的视频-文本检索方法

本发明公开了一种基于全局与局部语义的视频‑文本检索方法，构建包括文本特征提取模块，视频特征提取模块，全局交互模块，局部交互模块和相似度融合模块的视频‑文本跨模态匹配模型，全局交互模块用于对文本特征提取模块和视频特征提取模块所提取得到的文本特征和视频特征计算得到全局相似度，局部交互模块用于基于Transformer编码器对文本的词特征和视频特征计算得到局部相似度，再由相似度融合模块将全局相似度和局部相似度融合得到视频‑文本的匹配度。本发明构建视频‑文本跨模态匹配模型，通过挖掘跨模态的潜在共享语义来优化视频‑文本检索。