一种通过混合扩散监督进行多模态到3D对象的生成方法

本发明公开了一种通过混合扩散监督进行多模态到3D对象的生成方法，包括以下步骤：S1、采用模态相似度损失对齐模态提示与渲染图像的编码，将多种模态的语意信息更好地注入到3D对象的生成过程当中，用于使生成的3D对象更加贴合各个模态提示的要求；S2、采用混合扩散监督利用2D扩散模型以及3D扩散模型的先验知识，通过结合两种预训练扩散模型的优势，用于提高3D对象的生成效果和一致性：S3、利用三阶段优化方法，通过在每个阶段结合混合扩散监督，生成3D对象；该方法通过采用模态相似度损失、混合扩散监督和三阶段优化方法，可有效提高3D对象的生成质量，具有显著的实用价值和应用前景。