一种面向多人的眨眼与视线一体化检测模型构建方法

本发明属于计算机视觉领域，具体涉及一种面向多人的眨眼与视线一体化检测模型构建方法，眨眼与视线一体化检测网络包括：特征提取网络，用于提取RGB视频片段的高层语义特征Fv；查询器初始化模块，用于初始化N组实例级面部查询器和实例级眼部查询器以及每组对应的面部提议框和眼部提议框；查询器更新模块，用于实现面部与眼部查询器之间的空间交互并更新对应的特征；采用当前的每组面部查询器和眼部查询器，根据对应的面部提议框Pi和眼部提议框pi，从Fv中提取Pi、pi对应的局部特征，用以更新对应的查询器；多任务预测头用于实现对各个实例的人脸和人眼的定位与跟踪、眨眼区间检测、视线方向估计多个任务。本发明能提高多任务检测的精度与速度。