一种基于多通道手势融合的模拟驾驶训练交互方法及系统

本发明公开了一种基于多通道手势融合的模拟驾驶训练交互方法及系统，该方法首先获取双机位手部彩色图像序列和双机位手部关键点空间位置数据序列，生成多通道手部动作场景时序数据。其次使用神经网络处理多通道手部动作场景时序数据，获得动作类型及其置信度、多通道手势场景动作意图和其置信度。然后对双机位用户手部关键点空间位置数据预处理，合并为手部关键点融合空间坐标时序数据，使用神经网络处理，获得相匹配的多通道关键点手势动作信号及其置信度、手势关键点动作意图和其置信度，最后得到控制指令和动态控制系数，对模拟车辆进行操控。本发明提高手势识别的准确性和鲁棒性，且易于部署和推广，具有更好的用户体验。