基于机器学习的手术人员视频行为识别方法及系统

本发明涉及行为识别技术领域，尤其涉及一种基于机器学习的手术人员视频行为识别方法及系统。所述方法包括以下步骤：通过RGB摄像头以及激光测距设备对手术人员洗手区域进行视频帧序列以及点云帧序列获取，得到视频帧序列以及点云帧序列；对点云帧序列进行手部点云分割，得到手部点云数据；根据视频帧序列以及手部点云数据进行动作原始数据生成，得到动作原始数据；对动作原始数据进行手部关键点的位置和姿态信息提取，得到视频关键点特征数据。本发明通过RGB摄像头捕捉视觉信息、激光测距设备获取三维深度信息，再结合深度学习网络对动作进行精细分析和评估，最终实现了更高的识别精度、鲁棒性和自动化水平。