一种高质量视频生成音频方法

本发明涉及一种高质量视频生成音频方法，包括以下步骤：S1：基于语义预训练模型对视频进行处理，得到语义信息；基于视频理解预训练模型对视频进行处理，得到视频理解特征；S2：根据视频理解特征获取固定长度的视频帧；S3：将固定长度的视频帧输入Seq2Seq模型，Seq2Seq模型输出音频帧的发声预测，音频帧的发声预测为RMS值；S4：将RMS值离散化为64个离散的数值，方式如下：d(r)＝math.floor(64*(ln(1+63|r|)/ln(64)))，d(r)为64个离散的数值，r为RMS的值；离散化后的RMS值对应256维的embedding向量；S5：基于语义信息和256维的embedding向量训练，引导音频表征生成模块；S6：基于音频表征生成模块，采用声码器还原，生成音频。本发明可以提高生成音频与视频的时间对齐效果和质量。