一种基于多模态思维链的电影人声配音方法

本发明涉及一种基于多模态思维链的电影人声配音方法，包括以下步骤：构建带有CoT标注的电影配音数据集；整合多语种语音库、动画数据集和多说话人数据集，训练TTS语音合成模块和V2S视频配音模块；对含有噪声和语义不清楚的数据进行去除；训练多模态视频理解模型与语音生成模型，优化模型参数，提高模型的泛化能力；利用训练好的模型进行配音任务，输出高质量的合成语音。本发明能够实现唇形同步精度提升与情感相似度提升。