基于关键点引导文生图扩散模型的人脸生成方法

本发明公开了一种基于关键点引导文生图扩散模型的人脸生成方法，首先收集数据信息，将人脸图像、文本描述信息和人脸关键点构成训练数据对，利用文本编码器对文本描述信息进行编码并转换为嵌入向量，利用隐空间编码器将人脸关键点图像信息映射到隐式空间；将高斯噪声图的隐式空间张量和人脸关键点图像信息的隐式空间张量进行拼接；建立隐式扩散模型并训练，对拼接的隐式空间张量不断迭代去噪，获取与关键点和文本描述信息对应的人脸图像，利用热力图引导下的去噪损失模块为关键点条件分配额外的训练注意力，使用隐空间解码器将隐式空间中的去噪结果映射到像素空间，最终重建出高生成质量和高图像与文本描述信息一致性的人脸图像。