一种数字孪生WEB应用隔空手势交互方法及系统

本发明属于人机交互技术领域，本发明公开了一种数字孪生WEB应用隔空手势交互方法及系统；包括：采集用户端设备摄像头的实时视频流，并将实时视频流进行预处理；得到X个手部区域框；将X个手部区域框输入到预设的基于生成对抗网络的手部关键点检测模型中，得到手部关键点坐标数据；基于手部关键点坐标数据获取手部骨骼模型；根据手部骨骼模型获取关节角度和手部运动轨迹；将手部骨骼模型映射到数字孪生虚拟场景中，在数字孪生虚拟场景中预设n种手势指令模式，将手部骨骼模型、关节角度和手部运动轨迹与手势指令模式进行匹配；提供了个性化、可扩展的手势交互能力，丰富了人机交互的方式。