一种基于像素流云渲染的数字人交互方法、系统及介质

本发明公开了一种基于像素流云渲染的数字人交互方法、系统及介质，包括：启动Web端会话并实时获取Web端的画面展示数据和交互输入数据；基于WebRtc协议通道将Web端获取的数据传输至云端，其中，WebRtc协议通道包括Rtc音频通道、Rtc视频通道、Rtc data通道；采用计算着色器进行张量运算，并通过渲染线程和神经网络运算，输出为口型特征值；使用实时3D渲染引擎进行虚拟人的渲染。本发明可以实现只需要在前端和渲染端建立WebRtc就完成完整的虚拟人交互流程，重点在前端和渲染端的数据通信全部通过WebRtc来完成。渲染端在简化了调用逻辑，将逻辑链路全部整合在云渲染引擎程序中，极大的加快了交互响应速度。