一种基于视频生成模型的动画上色方法及设备

本发明公开了一种基于视频生成模型的动画上色方法及设备，涉及图像自动上色技术领域，解决了目前的上色方法对于同一张线稿的上色，每一次运行会产生不一样的结果，导致前后帧的连贯性效果差的技术问题。该方法包括提取待上色视频的中间帧图像的边缘线稿，并将边缘线稿输入到ControlNet模型，得到中间帧图像的边缘特征；将待上色视频的首帧图像和尾帧图像输入视频生成模型，得到首帧图像和尾帧图像的图像特征，结合图像特征和边缘特征得到边缘条件信息；根据边缘条件信息对首帧图像和尾帧图像进行特征融合，得到融合特征；通过融合特征给中间帧图像上色。本发明能够加强视频前后帧的连贯性，实现给动画视频精准上色。