基于深度学习的多模态数据配对方法及系统

本发明提供基于深度学习的多模态数据配对方法及系统，涉及数据处理技术领域，包括获取视频多帧序列与目标文本，分别提取重叠帧组集合及规范化文本序列；进行时空特征提取和文本依存关系编码，得到视频时序向量序列和文本向量序列；执行跨模态对齐搜索，构建单调匹配路径集合；计算路径上配对元素的语义及动作实体关系一致性分数，获取综合得分；基于最优路径确定视频与文本对齐关系。本方法实现了视频与文本的精准匹配，提高跨模态检索效率。