一种基于扩散模型的双模态人脸局部编辑方法及相关设备

本发明公开了一种基于扩散模型的双模态人脸局部编辑方法及相关设备，其中模型包含图像局部提示处理模块、文本提示处理模块、隐空间扩散模型、图像编码器与解码器、文本‑图像注意力处理算法、空文本反演算法；通过文本、图像两种解耦注意力结合，细粒度地对图像进行局部编辑。一方面，文本注意力使用较粗粒度的语义引导，源图像对应部分语义发生改变。另一方面，文本难以描述的部分，可以通过图像注意力进行语义引导。经过文本注意力粗粒度的语义引导结合图像注意力细粒度的语义引导，最终实现细粒度的人脸编辑任务。本发明具有较强的灵活性与实用性，可在人脸个性化生成、编辑任务中具备实际应用价值，可广泛应用于计算机视觉领域。