多模态一体式的数字人生成方法、装置、设备及介质

本发明提出一种多模态一体式的数字人生成方法、装置、设备及存储介质，应用于金融领域，该方法包括获取多个模态的数据源信息，提取所述多个模态的数据源信息的特征，生成语音特征信息、文本特征信息和视频图像特征信息；对所述语音特征信息、文本特征信息和视频图像特征信息进行信号重组，生成口型信息基本单元、面部信息基本单元和身体信息基本单元以及语音信息基本单元；对所述口型信息基本单元、所述面部信息基本单元、所述身体信息基本单元以及所述语音信息基本单元进行对齐，并生成核心数据；基于所述核心数据和预设的渲染需求生成多模态一体式的数字人。