一种基于单张RGB图像与扩展现实技术的人体与衣物重建方法及系统

本发明公开了一种基于单张RGB图像与扩展现实技术的人体与衣物重建方法及系统，涉及扩展现实技术和计算机图形学领域，重建方法包括，S1：通过单目相机获取单张单目RGB图像；S2：对获取的图像进行分割处理，使用在Look into Person数据集上微调的U‑Net网络模型分割出图像中的衣物部分，并标注出不同种类衣物对应的区域；使用Mask RCNN网络分割出图像中的人体部分；S3：基于输入图像重建三维人体模型与对应匹配的衣物模型；S4：在现实场景中调整模型比例并叠加三维模型显示。重建系统包括图像预处理模块、三维重建模块和扩展现实模块；本发明能基于单张RGB图像在现实场景中显示附有相应衣物模型的人体模型，提高现实场景的多媒体应用中人物模型的生成和重建效率。