一种利用草图自动生成笔画绘画的方法和装置

一种利用草图自动生成笔画绘画的方法和装置，其方法包括：首先训练模型中真实图像笔画信息预测模块Transformer‑S模块和笔画全局信息和草图信息融合模块Transformer‑M模块；将草图输入到预训练好的真实图像生成模型Maskgit，得到真实图像，通过图像编码器，得到草图对应的真实图像的图像特征，将空白画布也通过图像编码器，得到画布特征，将这两者的特征在通道维度上融合，得到融合图像特征；同时将草图输入到草图编码器，得到对应的草图空间特征；将融合图像特征输入到训练好的Transformer‑S模块的编码器中，得到进一步融合的图像特征；然后将该融合图像特征输入到Transformer‑S模块的解码器中，得到笔画信息特征；将笔画信息特征和草图空间特征连接在一起，输入到训练好的Transformer‑M模块中，得到融合草图空间信息的笔画信息特征，经过全连接层得到笔画的参数，使用笔画参数渲染得到笔画，通过多个笔画的叠加，生成基于笔画风格的绘画。