面部与肢体融合捕捉方法、虚拟直播系统、设备和介质

本申请涉及一种面部与肢体融合捕捉方法、虚拟直播系统、设备和介质，后端采用第一虚拟相机采集和处理第一相机拍摄的第一影像，得到第一视频流，采用第二虚拟相机采集和处理第二相机拍摄的第二影像，得到第二视频流；后端从第一视频流中提取面部关键点坐标数据，从第二视频流中提取骨骼节点坐标数据，将面部关键点坐标数据和骨骼节点坐标数据进行整合，得到单消息体并发送至前端；前端接收并解析单消息体，得到面部二维绝对像素坐标和骨骼三维绝对像素坐标，并对二者进行空间配准，得到面部三维绝对像素坐标；前端将面部三维绝对像素坐标和骨骼三维绝对像素坐标进行融合，以驱动虚拟角色直播；改善了关键帧丢失和骨骼‑表情错位现象。