摘要
本申请实施例适用于数字人技术领域,提供了一种数字人视频生成方法、装置、电子设备及存储介质,该方法包括:获取多模态数据的数据特征;多模态数据的数据特征包括图像的第一图像特征、音频的第一音频特征以及唇部点云数据的第一点云特征;根据第一图像特征,生成融合第一音频特征与第一点云特征之间相关性的第二音频特征和第二点云特征;基于第一图像特征、第二音频特征和第二点云特征,生成数字人视频。采用上述方法,可以提高数字人视频中的视觉质量和音唇同步性。
技术关键词
音频特征
生成数字人
视频生成方法
点云特征
多模态
数据
图像全局信息
视频生成装置
电子设备
可读存储介质
多分辨率
射线
处理器
滑动窗口
同步性
采样点
系统为您推荐了相关专利信息
故障趋势预测
定位方法
多模态深度
融合多模态特征
数据
语音端点检测方法
视频特征信息
音频特征信息
高斯混合隐马尔可夫模型
融合特征