摘要
本发明公开了一种基于时空特征的视频场景图生成方法,先下载视频流并对每帧视频进行预处理,得到视频数据集;然后提取每帧视频中各目标的预测边界框和置信分数,并按照置信分数和交并比筛选预测边界框;对应筛选保留的预测边界框,依次进行特征提取,获取到每帧中各主客体对应时空特征;最后根据提取的特征通过关系分类器分类,预测出主客体之间的关系,并生成三元组<主体‑关系‑客体>格式的场景图,实现了视频内容的结构化表示。
技术关键词
关系分类器
生成方法
关键点
姿态特征提取
联合特征提取
三元组
视频帧
视觉特征提取
编码模块
语义特征提取
空间特征提取
融合特征
生成关系
场景
预测类别
系统为您推荐了相关专利信息
海报生成方法
布局
图像块特征
多模态信息
计算机可读指令