多模态语音驱动实现个性化歌声合成模型训练方法

本发明涉及语音信号处理技术领域，公开了多模态语音驱动实现个性化歌声合成模型训练方法，方法包括以下步骤：获取多模态输入数据，包括文本、参考音频、语者和情感特征；对数据进行处理得到编码特征；通过冗余感知编码评估并抑制模态间冗余信息；使用信息瓶颈模型压缩编码特征，保留有效信息；融合压缩后的特征生成个性化歌声特征；输入解码模块生成梅尔频谱特征；通过声码器将梅尔频谱转换为音频波形输出。通过声码器将梅尔频谱转换为音频波形输出。该方法能够有效融合多模态数据，提升歌声的个性化与情感表达能力，减少冗余信息干扰，提高歌声合成的质量与效率，最终输出高保真的个性化歌声。