使用多模态生成式AI的改进的3D模型生成

本发明公开了使用多模态生成式AI的改进的3D模型生成。在各种示例中，公开了涉及通过使用文本编码器对文本提示进行编码以及使用2D/3D编码器对对象的2D图像或对象的3D表示进行编码来生成输出3D潜在表示的系统和方法。通过将输出3D潜在表示应用于解码器来生成3D输出。确定3D输出的重构损失和SDS损失。使用重构损失和SDS损失更新文本编码器、2D/3D编码器和解码器中的至少一个。