多粒度语义与动态高斯建模的弱监督组合时刻检索方法

本申请提供的多粒度语义与动态高斯建模的弱监督组合时刻检索方法，方法包括：提取视觉特征和文本特征；基于插槽注意力机制的多粒度语义建模方法，生成多样化提案集；基于动态高斯建模方法，动态调整多样化提案集内部的帧权重分布；基于掩码重构的提案挑选机制从帧权重分布动态调整后的多样化提案集中挑选还原损失最小的最优提案；以提取的视觉特征和文本特征作为模型输入，训练过程基于正负提案的还原损失进行对比学习收敛，反向传播优化整个网络的参数，推理时以最优提案作为组合时刻检索结果。本申请通过多模态特征融合、动态帧权重调整、最优提案挑选以及弱监督对比学习，显著提升复杂文本表达下的弱监督时刻检索精度。