基于ControlNet的人脸表情生成方法

本发明公开了一种基于ControlNet的人脸表情生成方法，从人脸表情数据集构建和用于人脸表情生成的控制网络的训练两个角度着手，首先利用互联网收集包含各类表情的人脸图片，可以是真实世界的人脸图片也可以是合成的人脸图，使用SPIGA模型将人脸图片转换为脸部的68个关键点的形式，将人脸关键点图转换为人脸分割图，并以此作为控制条件的图片。同时，使用BLIP captioning模型为人脸原始图和人脸分割图生成图片描述词，将人脸原始图、人脸分割图与图片描述词构建为人脸表情数据集。最后，使用模型ControlNet进行训练，输出训练完成的以人脸分割图为控制条件的模型参数，实现了人脸表情图片的精确生成，从而实现对图片中的人物表情精准控制。