一种基于孪生扩散模型的多视角人物图像重建方法及装置

本发明公开了一种基于孪生扩散模型的多视角人物图像重建方法及装置，该方法获取二维RGB参考人物图像和二维RGB目标人物图像构成训练数据对，基于二维RGB目标人物图像得到对应的姿态图像，提取总体人体语义分割掩码图和局部区域分割图，对训练数据对编码为潜在特征并添加随机噪声，基于孪生扩散模型进行特征融合和去噪过程，进行图像复原，最后基于解码器得到最终目标人物图像。本发明采用孪生扩散模型框架来克服先前传统方法保留细粒度信息能力弱的固有缺点，有效提高了具有复杂图案衣服的人物外观一致性，克服了传统先前方法在参考人物姿态与目标姿态变化过大时无法合理生成的问题，显著提升了生成图片的质量。