摘要
本申请涉及人工智能技术领域,提供了一种运动视频生成方法、装置、电子设备及存储介质。该方法通过获取参考视频,并获取运动视频生成的基座模型,为基座模型的空间模块和时间模块分别注入LoRA组件,对该LoRA组件使用异步训练策略进行训练,再接收生成目标运动视频指令,确定LoRA组件的目标权重,使用目标权重将LoRA组件与基座模型融合,基于该运动视频指令使用融合后的基座模型生成该目标运动视频,实现了无需轨迹引导,使用参考视频提供的运动信息生成运动视频,且通过异步训练策略依次训练微调空间模块LoRA组件和时间模块LoRA组件的参数,能够提高目标运动视频的可控性和鲁棒性。
技术关键词
空间模块
运动
视频生成模型
视频生成方法
基座
指令
虚拟试衣
对象
视频生成装置
图像
注意力
编辑
策略
电子设备
可读存储介质
人工智能技术
处理器
文本