腾讯开源最强3D生成模型，消费级显卡就能跑 | CVPR

就在刚刚的CVPR上，鹅厂3D生成模型混元3D 2.1正式宣布开源！

它可以紧跟潮流，细腻地呈现出当红炸子鸡Labubu。

也可以走复古路线，生成纹理精致的青铜器。

总之相比于前一代2.0，混元3D 2.1主打的是几何与纹理的双重优化。

特别在纹理贴面上有比较大的优化，可达到当前开源3D模型中的SOTA。

比如这个金属质地的葡萄型摆件，2.1和之前2.0的质感和光泽对比非常明显：

并且混元3D 2.1的训练代码、模型权重、数据处理流程全部开源，支持一键部署，开发者还可以自主精调。

据腾讯介绍，这是首个全链路开源的工业级3D生成大模型，并且达到了闭源级水平，同时还可适配消费级显卡。

主打几何与纹理双优化

如开头所述，混元3D 2.1主打的是几何与纹理的双重优化。

几何决定了建立出的模型在形状上的精度，纹理则还原模型表面的颜色、光泽和细节表现。

混元3D 2.1 可生成基础颜色、金属度、粗糙度等指标各不相同的贴图，同时还支持皮革、木质、金属、陶瓷等多种复杂材质的高质量渲染。

比如这组青花瓷制成的小船，可以看到右侧2.1版本生成的结果光泽更好，底座的纹路也更加细腻，釉面上的青花图案分布也更为合理。

对于同样的物体，搭配不同的材质就能呈现出不一样的效果，比如下面的金属老虎和玉雕老虎，都栩栩如生。

还可以在同一个模型中呈现不同的质感，比如这组“吹号角的僧人”当中，不仅可以看到人脸上的皱纹更加清晰，还能看到号角的金属感更强。

衣服没有了过度的反光，衣襟的图案也更清晰，甚至手中杯里的水看上去也更加自然了。

模型的细节和图案的复杂程度，也可以精致到手办级别。

技术层面，在混元3D 2.0的基础上，混元3D 2.1模型进一步强化了“几何-纹理解耦”架构。

基于DiT几何架构，混元3D 2.1优化了细节建模，使网格精度更高，具备更好的形状一致性，以便更好进行后续的纹理映。

同时，混元在3D开源模型中引入PBR（基于物理的渲染）纹理生成技术。相较传统RGB贴图技术，PBR通过模拟光线与材质的物理交互，提升模型在不同光照环境下的视觉一致性。

相比于TexGen等其他模型，以及混元3D之前的2.0版本，新版混元3D模型的材质还原能力均达到了最佳水平。

在用户盲测中，混元3D 2.1的PBR纹理相较于RGB贴图，质感胜出率高达78%。

另外，PBR材质的标准化特性也使其兼容主流渲染引擎（如Unreal Engine、Unity），更加容易在其他平台中复用。

模型代码数据全部开源

混元3D 2.1提供了模型权重、训练代码和数据处理流程的全链路开源，开发者可以自由微调、二次训练或优化。

配置方面，混元3D 2.1适配于消费级显卡，并且提供了详细部署和使用教程，开发者可以轻松上手。

2024年11月，腾讯混元发布并开源了首代3D生成模型以来，今年1月，混元3D 2.0在文本一致性与几何精度上超越了主流模型。

开源以来，混元3D模型在Hugging Face平台下载量已超过180万，受到了全球开发者的认可。

现在的2.1版本，进一步提升了3D模型的质感，让AI生成的3D模型离“真实”又近了一步。

正如腾讯混元3D负责人郭春超所说：

混元3D 2.1的全面开源是一个新起点，期待与全球开发者、创作者及研究者携手，共同打造更加繁荣的3D开源生态。

另外，本周日（6月15日）中午11点还将有一场题为“玩转混元3D 2.1”的直播，感兴趣的话可以到腾讯混元视频号观看~

项目地址：https://3d-models.hunyuan.tencent.com/

体验地址：https://3d.hunyuan.tencent.com

文章来自于微信公众号“量子位”。