摘要
本申请提供视频定位模型训练方法,包括:通过初始视频定位模型提取样本数据集中样本文本的单词级文本特征,以及样本数据集中样本视频的帧级视频特征;融合单词级文本特征与帧级视频特征,得到句子级文本特征和包含上下文语义信息的视觉特征;确定视觉特征对应的剪辑视频段的阶段特定表示,并根据阶段特定表示,在剪辑视频段中选取候选视频段;通过候选视频段与样本数据集中的真实视频段,对初始视频定位模型进行训练,直至满足训练停止条件,得到目标视频定位模型。本申请能够获取更具辨识力的多模态融合特征,并增强模型的跨模态对齐能力,实现视频和文本之间的细粒度对齐,提高了模型的组合泛化能力,保障模型能够实现高效的组合时刻定位。
技术关键词
样本
上下文语义信息
视频段
视觉特征
文本
模型训练方法
掩码策略
视频帧
阶段
融合特征
数据
非线性
编码
矩阵
系统为您推荐了相关专利信息
攻击检测方法
待测电子设备
功耗
历史温度数据
样本
深度神经网络模型
掩码矩阵
边缘提取算法
梯度更新方法
水印
时序预测模型
长短期记忆网络
数字孪生
离子
样本
卷积网络模型
预训练模型
文本分类方法
特征提取模块
异构