摘要
本发明涉及一种基于多模态数据实现数字永生的系统,属于人工智能技术领域。系统包括:数据采集模块,用于采集用户的人脸数据、语音数据、文本数据、行为数据,并进行预处理;特征提取模块,用于从所述数据采集模块输出的预处理后的数据中提取面部特征、声纹特征、情绪特征、性格特征和行为特征;数字分身生成模块,用于根据所述特征提取模块输出的各种特征生成集语音、动作、表情于一体的数字分身。本发明生成了集语音、动作、表情于一体的准确符合用户自身特点的数字分身,实现了数字永生。
技术关键词
特征提取单元
多模态
特征提取模块
情绪特征
面部关键点
数据采集模块
文本
面部结构
隐私保护模块
声纹特征
面部特征
训练集
控制用户数据
渲染单元
序列
语音活动检测
人脸