一种基于多模型协作的图生视频及配乐的方法及系统

本发明公开了一种基于多模型协作的图生视频及配乐的方法及系统，该方法首先利用图生文大模型对图片信息进行解析与理解，将其转换为语言和文字。随后，通过文生文大模型将图片表达的文字信息生成有条理的故事，再利用文生视频大模型将故事信息转化为视频。视频生成后，通过解构和抽取算法，从视频中抽取关键帧，并使用图生文模型进行情感分析，最终结合文生音乐大模型生成配乐。本发明提供了一种将单张图片转换为具有连贯情节和配乐的视频文件的方法，大幅降低了视频创作的技术门槛，推动了UGC内容创作的普及。此外，本发明还包括一个用户友好的APP、电脑网页和微信小程序系统，方便用户多途径使用该技术。