一种基于视觉的虚拟现实场景下手笔交互系统及方法

本发明公开了一种基于视觉的虚拟现实场景下手笔交互系统，系统包括：手部三维重建模块、手笔交互映射模块和交互呈现模块；一种基于视觉的虚拟现实场景下手笔交互方法，方法包括：S1、通过视觉传感器获取用户视角的手部图像；S2、将手部图像输入到构建好的图神经网络中进行双手三维重建得到模型；S3、预先设定抓握姿势，通过识别实际姿势和预设姿势区别，区分各微小手势变化；S4、设计几种较易区分的微小手势，映射到绘画系统的各功能中，形成手笔交互绘画系统；本发明让用户直观地在虚拟环境中进行创作，无需借助额外硬件，有效降低认知负荷和操作门槛，配合视听反馈策略，为用户提供沉浸式的绘画体验。