结合关键点检测和目标检测的人体行为检测方法及装置

本发明公开了一种结合关键点检测和目标检测的人体行为检测方法，所诉方法包括：采集并保存站立，坐立，运动，卧躺多种人体姿态数据以及烟头，手机的物品数据；根据采集到的数据进行人工标注，数据预处理，并制作成数据集，按照一定比例分成训练集和测试集；构建人体行为检测模型，构建的思想使用双通道交互模块对关键的空间信息进行表征，并同时优化视觉特征，构建了一个多分支的深度神经网络，将各个分支的结果进行合并。首先利用人体检测器检测到人体框，利用人体姿态估计获取面部和手腕部关键点区域，将人体面部和手腕部的特征作为一种感知学习模块充分获取不同层级的上下文语义信息，结合烟头和手机的位置信息判别人体是否处于抽烟，玩手机，打电话的状态，其次利用人体肩关节，腰关节，膝关节和踝关节的相关特征信息提取位置信息以及位置之间的相关性判别人体是否摔倒。本发明通过关键点检测和目标检测交互的方法来确定人体所处的状态，鲁棒性更强，灵活性更强，识别率更高。