摘要
本发明公开了AR眼镜博主直播视频防抖处理方法及处理系统,所述方法具体包括:基于原始视频流和设备运动数据,计算生成初步稳定帧序列;基于初步稳定帧序列,标记关键语义区域为强稳定需求区,分割前景主体与背景区域;对强稳定需求区及前景主体应用非刚性变换进行精细稳定,对背景区域应用刚性变换进行稳定并保留场景纵深,获得分区校正后帧序列;基于分区校正后帧序列、设备运动数据和前景主体/背景区域的分割信息,预测未来多帧设备运动轨迹;基于未来多帧设备运动轨迹和前景主体/背景区域的分割信息,提前计算并执行前瞻性画布运动补偿。本发明实现了对AR眼镜直播视频的高效防抖处理,有效提升了直播画面的稳定性和用户体验。
技术关键词
设备运动轨迹
多尺度特征金字塔
AR眼镜
场景特征
高频抖动分量
设备状态数据
强化学习模型
序列
背景补偿
视频流
校正
运动补偿
时序特征
场景分类
分区
光流场
深度确定性策略梯度
全局仿射变换