一种基于AI语言大模型的智能多模态虚拟数字人交互系统、交互方法及应用

本发明公开了一种基于AI语言大模型的智能多模态虚拟数字人交互系统，包括：高真实性面部生成模块；所述高真实性面部生成模块使用AdaAN网络，基于自适应特征融合和语音驱动，以及语音特征的时间序列建模，提取出与语音相关的特征信息，提取的语音特征通过深度神经网络进行处理，确保语音与面部表情在时空上高度对齐，采集生物电信号并将信号映射到面部肌肉运动，生成最终面部表情，与用户进行交互；所述系统还包括：智能交互模块、训练优化与高效生成模块、高效集成模块、多模态数据采集模块、AI大模型核心处理模块、数字人形象生成与驱动模块、交互场景适配模块、反馈优化模块。本发明还公开了一种多模态数字人交互方法，具有广泛应用价值。