一种基于手势追踪的MR培训系统

本发明提出了一种基于手势追踪的MR培训系统，包括头显设备、手势追踪模块、环境感知模块、虚实融合引擎、培训评估模块和多通道反馈模块；所述头显设备，集成双目RGB摄像头、红外ToF深度传感器及毫米波雷达阵列，所述RGB摄像头通过骨骼追踪定位手部位置，同时采集手部图像，所述毫米波雷达阵列捕捉手部微动作的亚毫米级位移数据，将采集的手部图像和位移数据传输至虚实融合引擎；所述红外ToF深度传感器通过发射调制的近红外光脉冲并测量光线反射至传感器的时间差，直接计算目标物体与传感器的距离，生成逐像素的深度图所述手势追踪模块采用多模态融合网络处理RGB图像、深度数据及雷达信号，构建手部的21关节点的骨骼模型，实时计算关联关节角度变化量，识别握持、旋转、按压操作动作，并根据头显设备采集的图像数据和位移数据对操作动作进行追踪优化。