视频定位模型训练方法

AITNT
正文
推荐专利
视频定位模型训练方法
申请号:CN202411054298
申请日期:2024-08-02
公开号:CN118587409B
公开日期:2024-11-19
类型:发明专利
摘要
本申请提供视频定位模型训练方法,包括:通过初始视频定位模型提取样本数据集中样本文本的单词级文本特征,以及样本数据集中样本视频的帧级视频特征;融合单词级文本特征与帧级视频特征,得到句子级文本特征和包含上下文语义信息的视觉特征;确定视觉特征对应的剪辑视频段的阶段特定表示,并根据阶段特定表示,在剪辑视频段中选取候选视频段;通过候选视频段与样本数据集中的真实视频段,对初始视频定位模型进行训练,直至满足训练停止条件,得到目标视频定位模型。本申请能够获取更具辨识力的多模态融合特征,并增强模型的跨模态对齐能力,实现视频和文本之间的细粒度对齐,提高了模型的组合泛化能力,保障模型能够实现高效的组合时刻定位。
技术关键词
样本 上下文语义信息 视频段 视觉特征 文本 模型训练方法 掩码策略 视频帧 阶段 融合特征 数据 非线性 编码 矩阵
系统为您推荐了相关专利信息
1
硬件攻击检测方法、设备、存储介质及产品
攻击检测方法 待测电子设备 功耗 历史温度数据 样本
2
不可见触发模式的神经网络模型水印构建方法
深度神经网络模型 掩码矩阵 边缘提取算法 梯度更新方法 水印
3
一种基于时序模型的湿法炼锌数字孪生构建方法
时序预测模型 长短期记忆网络 数字孪生 离子 样本
4
一种教学课件智能推荐方法
智能推荐方法 学习特征 教学 矩阵 时间序列关系
5
融合优化预训练模型与图卷积网络模型的文本分类方法
卷积网络模型 预训练模型 文本分类方法 特征提取模块 异构
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号