基于点云的掐指交互方法、头显设备、交互系统和存储介质

本发明公开一种基于点云的掐指交互方法、头显设备、交互系统和存储介质，属于智能眼镜交互技术领域，所述掐指交互中触控操作、鼠标操作或键盘输入中的触碰是这样判定的：利用骨骼关节模型输出手点云，该手点云包括表皮点云和骨骼关节线，手点云上的每个点实时被单目摄像头追踪和推理其XY位置，判断触发区域的表皮点云是否超过按钮区域的表皮点云，若是，则判定发生触碰。本发明仅需要单目摄像头就可以精准判断触碰，可以避免双目摄像头无法同时采集手势动作所带来的误判断。本发明的点云推理可以在智能眼镜里通过小型神经网络芯片实现，输出触控、鼠标或键盘信号给交互终端，智能眼镜可直接替代鼠标或键盘。