基于低算力设备的3D数字人多模态实时驱动方法及系统

本发明提出了一种基于低算力设备的3D数字人多模态实时驱动方法及系统，涉及数字人技术领域，该方法包括：通过3D扫描设备采集3D数字人在各种表情下的原始情感数据集；对原始情感数据集进行预处理，以获取多模态情感数据，并对多模态情感数据进行特征提取，以获取语音特征、唇形特征以及微表情特征；基于多模态情感数据和3D模型空间参数，构建神经辐射场函数，并将神经辐射场函数与知识迁移模型进行跨模态特征对齐，以构建轻量化识别模型；将3D扫描设备采集的实时情感数据传输至轻量化识别模型，获取当前3D数字人的表情驱动信号，并根据表情驱动信号驱动3D数字人执行对应的响应行为。本申请有助于提升3D数字人情感表现的丰富度与自然度。