一种高保真生成式放大音频驱动唇形幅度的方法及装置

本发明公开一种高保真生成式放大音频驱动唇形幅度的方法及装置，其中，高保真生成式放大音频驱动唇形幅度的方法包括：通过语音预训练模型提取音频信息中的音频特征；将音频特征中的高频音频特征进行放大，得到高频放大的音频信息；将高频放大的音频信息输入至高频音频特征提取模型中，提取出不同尺寸的音频特征；将不同尺寸的音频特征分别融合到语音驱动嘴唇合成模型的生成器中，分别控制生成器的唇形幅度生成程度。本发明的一种高保真生成式放大音频驱动唇形幅度的方法，通过高频特征放大与多尺度融合，解决了语音驱动唇形合成中的细节丢失问题，可广泛应用于虚拟现实、影视后期及远程教育领域。