摘要
本发明提供了一种基于扩散模型的高效人脸风格迁移方法、装置及设备。其中,方法包括:获取待风格化人脸图像以及目标风格图像;将待风格化人脸图像以及目标风格图像输入预训练风格模型,进行人脸风格化处理,获得最终人脸风格图像;预训练风格模型基于第一基本风格转移模型、第二基本风格转移模型、扩散模型以及文本提示模型,采用交叉注意力机制构建得到;第一基本风格转移模型用于获取目标风格图像的风格特征信息;第二基本风格转移模型用于获取待风格化人脸图像和目标风格图像的面部融合信息。通过采用预训练模型,提高了处理效率;由于将风格转移模型、扩散模型以及文本提示模型结合进行处理,提高了最终人脸风格图像的真实感和自然度。
技术关键词
风格迁移方法
人脸
交叉注意力机制
文本编码器
面部
机器可读指令
噪声图像
融合去噪
图像编码器
预训练模型
处理单元
处理器
网络架构
真实感