基于多模态融合的高精度全身动作捕捉方法、设备及介质

本发明提供一种基于多模态融合的高精度全身动作捕捉方法、设备及介质，涉及虚拟现实技术领域。该方法包括：获取同步时间戳下各用户的初始模态数据和穿戴式装备物理特性数据；根据初始位置图像信息和初始深度图像信息确定遮挡信息；基于遮挡信息、各关节的初始位姿信息和穿戴式装备物理特性数据，得到各用户的目标骨骼链拓扑结构；对各用户的当前模态数据进行坐标统一；根据各用户的坐标统一后的当前模态数据、穿戴式装备物理特性数据以及目标骨骼链拓扑结构，得到各用户的动作数据。本发明综合考虑各用户的当前模态数据、穿戴式装备物理特性数据以及目标骨骼链拓扑结构，得到多人协同动作下各用户的动作数据。