基于拐点流的发声动作时序定位方法及系统

本发明公开了一种基于拐点流的发声动作时序定位方法及系统，首先读取包含发声动作的无声视频；然后根据运动学定律进行拐点流分析得到双向运动流和双向拐点流；随后进行特征提取得到图像上下文特征、双向运动特征和双向速度拐点特征；接着计算图像到运动和图像到拐点的跨运动学特征拼接得到跨运动学聚合特征；同时从跨运动学聚合特征中获取判别图，在判别图上对运动区域及非运动区域进行跨视频对比学习并进行视频内部平滑约束，得到激活运动区域特征；最后进行时空特征融合并逐帧进行分类预测，识别每一图像帧是否为发声动作帧。本发明实现了帧级别的碰撞发声动作帧定位，能够准确识别碰撞发声动作对应的视频帧。