一种基于多模态思维链的视频引导音频生成方法及系统

本发明涉及一种基于多模态思维链的视频引导音频生成方法及系统，所述方法包括以下步骤：输入视频与文本指令生成初步音频；联合视频与初步音频，由多模态大语言模型判断旁白存在性及位置；基于多模态大语言模型的推理结果去除旁白并生成中间音频；检测及修复静音段；结合原始音频或负向提示优化输出，形成精细化音频。本发明通过多模态大模型对输入视频生成的音效进行推理，检测是否含有画外音，根据实际结果选择是否进行多步推理，能够提高合成音效的整体质量。