摘要
本发明提供的一种基于交叉注意力和序列注意力的视频切分方法及系统,涉及视频处理技术领域,本发明通过获取某一时间段的直播视频与商品信息;对商品信息与直播视频进行时间点检测,得到所有时间点;将商品信息与所有时间点进行多模态融合,以通过交叉注意力与序列注意力捕获两者之间的关系与关键信息,得到时间点商品特征向量;根据商品信息与所有时间点,遍历比较相邻时间点的时间点商品特征向量,对直播视频重新划分视频时间段,得到商品分类更加精准的第二切分视频。本发明能最大程度地召回商品关联视频的时间点,减少后续失误判断,充分捕获视频时间点与商品之间的关联关系,更加精确地识别直播视频的时间点,解决商品维度上的视频划分问题。
技术关键词
视频
时间段
交叉注意力机制
文本
商品特征
序列
音频
NLP技术
关系
多模态
图像编码
坐标点
图片
切分系统
精确地识别
语音
关键词
数据获取模块
系统为您推荐了相关专利信息
关键点特征
多模态特征
图像
问诊系统
医疗知识图谱
手机信令数据
轨迹大数据
林区
风险评估方法
网格