一种定制化人物视频生成方法和装置

本发明提供一种定制化人物视频生成方法和装置，该方法包括：步骤1，基于具有先验知识的文本生成图像模型，结合以人物为中心的图像和视频数据，构建基础的姿态可控的人物视频生成模型；步骤2，通过参考视频中的姿态信息和文本描述构建训练数据集，微调所述人物视频生成模型的图像生成部分，学习参考人物的外观特征；步骤3，在已微调的所述人物视频生成模型基础上集成时序层，利用视频数据进行微调，增强所述人物视频生成模型对时间序列信息的建模能力，保持所述人物视频生成模型的先验知识；步骤4，输入自定义文本以及姿势图序列，利用微调后的所述人物视频生成模型，生成具有自定义场景和姿态的个性化视频。该方法克服了现有技术局限，降低计算资源开销，不仅提升了生成视频的个性化程度，还增强了对复杂场景和多样化姿态的生成能力，显著扩展了模型的应用范围与灵活性。