摘要
本发明公开了一种在多视角视频中进行单目标追踪的方法及装置,主要实施步骤包括:提取人脸、形体及背景特征;计算相邻帧位置偏移生成动态3D卷积核;通过局部‑全局特征聚合器融合多模态特征;构建融合特征时间序列并补全缺失帧;利用短时关联建模模块捕捉跨视角轨迹关联性。装置由特征提取单元、轨迹核生成器、特征融合单元、短时关联模块及参数优化单元组成,通过联合优化多任务损失函数提升模型性能。本发明,通过多特征融合和特征聚合,在目标外观变化较大的情况下仍能保持高识别精度;通过短时关联建模模块有效解决了目标短暂消失的问题,确保了目标轨迹的连续性;通过背景特征区分不同视角视频,实现了跨视频目标的准确关联,适用于多视角视频场景;采用高效的3D卷积和注意力机制,计算复杂度低,适用于实时应用场景。
技术关键词
融合特征
人脸特征向量
视角
人脸位置
全局特征融合
交叉注意力机制
特征提取单元
轨迹
串联单元
多层感知机
融合多模态特征
追踪装置
多任务损失函数
序列
模块
视频帧
理论
系统为您推荐了相关专利信息
输电线路检测方法
输电线路检测系统
融合特征
双模态
超分辨率
海洋环境要素
海洋气象要素
地理加权回归模型
数据
图像分割网络
视频分类方法
元素
电视设备
互动方法
视频分类装置
邻域
全局特征提取
局部特征提取
交叉注意力机制
分割方法