ArtiFixer from NVIDIA Research

项目简介：这是 NVIDIA 空间智能实验室提出的两阶段三维重建流水线，利用自回归扩散模型生成新视角。

问题背景与解决方案：3D 高斯溅射（3D Gaussian Splatting）及同类方法在新视角合成任务上表现出色，但在观测不足/未观测区域表现不佳。现有生成方法要么缺乏可扩展性（图像/双向视频模型单次仅能生成少量视角），要么生成质量不足（输出不一致，在未观测区域失效）。ArtiFixer 通过单次流水线即可生成数百帧并保持一致性，同时解决了上述两个问题。

技术差异：第一阶段采用不透明度混合策略（将 RGB 编码到隐空间，通过不透明度图与高斯噪声混合），鼓励与现有内容保持一致，同时在未观测区域保留生成能力。第二阶段通过自强制 DMD 蒸馏将双向教师模型蒸馏为因果自回归模型。

核心特性：

- 单次前向即可生成数百帧

- 可直接用于新视角合成，或作为伪监督提升三维表示效果

- 可仅通过文本提示完成重建（与基础模型保持一致）

- 从渲染结果（而非纯噪声）开始，不到 4 步即可生成合理视觉结果

- 提供三个变体：ArtiFixer（更清晰）、ArtiFixer3D（更一致）、ArtiFixer3D+（同时恢复清晰度与一致性）

技术优势：

- 在 MipNeRF 360、DL3DV 和 Nerfbusters 数据集上，PSNR 指标超过所有基线方法1–3 dB

- 在现有方法完全失效的场景下仍能生成合理重建结果

- 比成本高昂的迭代蒸馏流程更高效

适用人群：面向三维重建方向研究者、计算机视觉工程师，以及从事稀疏观测下新视角合成研究的团队。

应用场景：稀疏三视角重建（MipNeRF 360）、DL3DV-10K 稀疏数据集、未观测区域修正，以及参考视角文本转视频生成。

资源获取：代码已开源在 GitHub，模型发布在 Hugging Face，论文已发表于 SIGGRAPH 2026。