ECCV'26 | 为视频虚拟试衣解锁自由视角，TryOnCrafter玩转4D试衣代理

视频虚拟试衣（VVT）作为电商展示与数字内容创作中的核心技术，已在动态人物换装、服装纹理保持和视频时序连贯性方面取得显著进展。然而，现有方法大多仍受限于固定相机视角，生成结果被动依赖源视频的原始相机轨迹，难以满足用户对于自由旋转、拉近、拉远或环绕观察试衣效果的真实需求。

面对这一挑战，我们提出了首个面向可控相机视频虚拟试衣（CaM-VVT）的视频 DiT 框架 TryOnCrafter。得益于显式 4D 几何锚定，TryOnCrafter 首次系统性解决了试衣场景中的用户自由运镜需求，支持主体重定位、子弹时间、360 度环绕等全新试衣效果，在保持人物结构稳定、服装纹理连续与场景关系自然的同时，真正让用户从「观看固定视角试衣视频」走向「自由探索动态穿搭效果」。

换句话说，TryOnCrafter 并不是在传统视频试衣结果上简单「移动镜头」，而是将人物、服装、背景与相机轨迹统一到 4D 世界空间中，从任务定义、空间建模到视频生成方式都对传统 VVT 进行了扩展。二者的核心区别如下：

基于上述设计，TryOnCrafter 突破了以往视频虚拟试衣结果被锁定在源视频相机轨迹中的限制。借助可渲染 4D 试衣代理和代理锚定视频 DiT，模型能够在用户指定的自由相机轨迹下生成结构稳定、外观自然的试衣视频。

研究背景

视频虚拟试衣（VVT）旨在将指定服装无缝迁移至视频中的目标人物，同时保持人物身份特征与动作连贯性。现有 VVT 方法虽在生成逼真动态换装效果上取得显著进展，但普遍受限于一个根本性约束：生成结果严格绑定于源视频的原始相机轨迹，用户无法像在实体试衣或三维商品展示中那样，自由旋转、拉近、拉远或环绕观察服装在不同视角下的穿着效果。

在真实的线上购物场景中，消费者真正想看的往往不只是衣服「穿上去像不像」，而是在不同角度、不同动作、不同距离下衣服是否合身 —— 侧面衣型是否贴合，背面纹理是否完整，走动时衣摆是否合理，镜头绕到另一侧时人物与背景是否还能保持一致。

为突破上述局限，本文提出 TryOnCrafter 框架，并定义一个新的研究任务：可控相机视频虚拟试衣（Camera‑Controllable Video Virtual Try‑On, 简称 CaM‑VVT）这个任务不只是把目标服装穿到动态人物身上，更要求模型能够在指定的新相机轨迹下，生成结构稳定、纹理一致、人物动作自然、前背景关系合理的视频虚拟试衣结果。

TryOnCrafter 摒弃传统的隐式像素空间操作，转而引入可渲染的 4D 试衣代理（renderable 4D try‑on proxy），通过将高质量的 2D 试衣先验蒸馏至基于 3D 高斯泼溅（3DGS）的穿衣虚拟人体，并借助 SMPL‑X 序列驱动以及度量对齐至重建的背景点云，构建出兼具高纹理密度与完整运动结构的鲁棒几何表征。该代理作为 4D 几何锚点，可渲染得到初始视频；后续生成环节则以视频扩散 Transformer（Video DiT）为主干模型，对初始渲染结果进行细化，确保最终输出既严格遵循目标相机轨迹，又具备物理合理的动态形变。

总的来说，我们的贡献可以概括为以下三个方面：

• 定义了可控相机视频虚拟试衣（CaM-VVT）任务，并提出了首个基于视频 DiT 的 CaM-VVT 统一框架 TryOnCrafter
• 引入可渲染 4D 试衣代理，通过将 2D 试衣先验蒸馏至 3DGS 穿衣虚拟人体，并联合 SMPL‑X 驱动与背景点云度量对齐，构建显式的 4D 空间结构代理
• 支持多种下游应用，包括人物重定位、360° 环绕试衣及子弹时间效果，充分释放 4D 试衣代理在编辑任务中的潜力

• 论文标题：TryOnCrafter: Unleashing Camera Trajectories for Realistic Video Virtual Try-on via a Renderable 4D Try-on Proxy
• 论文地址：https://arxiv.org/abs/2606.26092
• 项目地址：https://sunhao242.github.io/TryOnCrafter_web.github.io

方法介绍

TryOnCrafter 采用「先构建显式 4D 空间代理，再进行代理锚定视频生成」的两阶段流程，将可控相机视频虚拟试衣从传统的像素级换装问题，转化为一个以 4D 世界空间为核心的重渲染与生成任务。

给定源视频、目标服装图像和用户指定的目标相机轨迹，TryOnCrafter 首先构建一个可渲染 4D 试衣代理，该代理为后续生成提供明确的几何结构、姿态运动和前背景关系约束。随后，TryOnCrafter 以该代理在目标相机轨迹下的渲染结果作为结构先验，输入视频扩散 Transformer 进行生成式细化，补全真实感纹理、身份细节和遮挡区域内容，最终得到符合指定视角运动、时序稳定且外观自然的自由视角试衣视频。

综上，TryOnCrafter 的整体方法可以分为两个紧密衔接的核心模块：其一是可渲染 4D 试衣代理，负责建立稳定、可编辑、可渲染的 4D 几何锚点；其二是视频扩散 Transformer 模型，负责在该锚点约束下完成真实感视频生成。

可渲染 4D 试衣代理构建流程

4D 试衣代理是一个可渲染、可编辑、随时间变化的 4D 穿衣人体表示。构建过程包括：

• 背景重建：从源视频中恢复背景点云和相机信息。
• 人体运动恢复：通过 SMPL-X 对齐人体动作序列。
• 2D 试衣先验蒸馏：将高质量 2D 试衣结果蒸馏到 3DGS 模型中，形成穿着目标服装的 3D 人体化身。
• 场景统一对齐：通过人体点云锚点，将 SMPL-X 动作序列度量对齐到重建的背景点云中，然后将人体化身随 SMPL-X 动作变形，如上图（a）、（b）所示。

这样一来，人物、服装、背景和相机轨迹不再是彼此割裂的像素线索，而是被规范到同一 4D 世界空间中。模型在生成视频时，不再凭空想象新视角内容，而是以 4D 试衣代理作为几何锚点，让每一帧都受到明确的空间结构约束。

视频扩散 Transformer 构建流程

在完成 4D 试衣代理后，TryOnCrafter 并不会直接把代理渲染结果作为最终视频，而是将其作为几何与纹理先验，输入到代理锚定的视频扩散 Transformer 中进行细化。该模块基于预训练 Wan2.1-I2V-14B 构建，核心目标是在严格遵循目标相机轨迹的同时，补足代理渲染中可能存在的细节缺失、遮挡区域和真实感不足。

具体而言，给定目标相机轨迹，4D 试衣代理首先渲染得到一段初始视频。该渲染视频显式编码了人物姿态、服装大体纹理、背景结构以及相机运动，被作为视频 DiT 的主结构锚点。为了突出有效几何区域，模型还引入下采样二值 mask，并在 patchify 阶段将这些编码特征与扩散噪声在通道维度拼接，使每一步去噪过程都受到像素级对齐的时空约束。与此同时，TryOnCrafter 将高质量参考帧注入到渲染序列首帧，用于稳定早期去噪阶段的整体外观，减少轮廓漂移和身份偏移。

在条件设计上，TryOnCrafter 采用三层引导机制：

• 渲染先验（Rendered Prior）：由 4D 试衣代理在目标相机轨迹下渲染得到，提供最基础的时空结构约束，确保人物朝向、身体姿态、背景位置和服装变形与目标视角一致。
• 跨视角参考适配器（CRA）：从源视频和参考信息中提取细粒度身份、服装与背景特征，并以残差形式注入 DiT 主干。如上图（c）所示，CRA 共享 DiT 中 self-attn 的 Key/Value 投影权重，同时使用独立的 Query/Output 权重，在尽量保持预训练生成能力的前提下，帮助模型在未观察过的新视角中维持人物身份、服装纹理和场景细节。
• 多模态语义条件（Multi-Modal Semantic Conditioning）：通过 CLIP 图像编码器提取服装纹理与材质特征，并结合文本编码器提供的高层属性描述，将这些语义 token 通过交叉注意力注入 DiT 模块。该设计尤其有助于处理遮挡区域或代理重建稀疏区域，减少长视频生成中的纹理漂移和语义不一致。

训练上，TryOnCrafter 采用渐进式两阶段策略：第一阶段在常规单目视频试衣数据上进行基础 VVT 预训练，让模型先学会稳定的服装迁移、纹理保持与时序一致性；第二阶段引入相机控制，在合成多视角试衣数据上进行 CaM-VVT 微调，使模型进一步学习跨视角空间一致性、视角相关服装形变以及复杂相机运动下的真实感重建与生成。

因此，TryOnCrafter 的视频 DiT 并不是一个单纯「美化渲染结果」的后处理模块，而是一个被 4D 代理显式锚定的生成器：4D 代理负责把人物、服装、背景和相机轨迹固定在同一世界空间中，视频 DiT 则在此基础上补全真实感、细节和动态一致性。这样生成的视频既能跟随任意目标相机轨迹，又能保持稳定的人物结构、服装纹理和场景连贯性。

为何不能简单串联「试衣 + 相机控制」模型？

两阶段方案（「视频试衣模型」+「相机控制模型」）看似直接，但极易出现误差累积问题：第一阶段生成结果的服装纹理不稳定，第二阶段在改变镜头时会进一步放大这些问题，导致衣服变形、人物结构崩坏、背景扭曲，推理成本也更高。

TryOnCrafter 的核心洞察在于：需要一个稳定的中间表示来桥接试衣与视角控制 —— 即可渲染 4D 试衣代理。

实验结果

我们在非相机可控视频虚拟试衣和相机可控视频虚拟试衣两个任务上都与现有方法进行了对比。

非相机可控视频虚拟试衣

相机可控视频虚拟试衣

潜在应用

由于构建了显式的 4D Try-on Proxy，TryOnCrafter 不只是一套视频生成模型，也可以作为一个可重复编辑的数字试衣空间。论文展示了三个具有现实效益的潜在应用方向：

• 主体重定位。TryOnCrafter 可以把穿着目标服装的人物移动到场景中的任意位置，同时保持人物与背景之间的遮挡、尺度和透视关系。对于电商展示、广告制作或虚拟模特视频，这意味着同一段素材可以被重新编排到不同构图中。
• 子弹时间。TryOnCrafter 可以冻结某一时刻的人体姿态，同时让相机环绕运动，生成类似电影 Bullet Time 的动态试衣展示。这为时尚短视频、品牌视觉营销和沉浸式商品展示提供了更具表现力的生成方式。
• 360 环绕视角试衣。用户可以围绕人物生成完整环绕视角，从正面、侧面到背面连续查看服装效果。相比很多只能支持窄角度视角变化的方法，TryOnCrafter 能在未观察视角中继续保持结构稳定和纹理一致，这正对应真实购物中「我想看看背面」的核心需求。

鲁棒性测试

为了验证 TryOnCrafter 是否过度依赖上游组件的重建质量，论文进一步进行了鲁棒性测试。测试从两个方向展开：一类是前景人体相关误差，另一类是背景几何退化。

这些结果说明，TryOnCrafter 并不是把 4D 试衣代理当作必须逐像素复刻的「标准答案」，而是将它作为一种粗粒度、可渲染、时空一致的几何指导。即使代理中存在局部错误，DiT 仍可以结合源视频参考、服装语义和生成先验，对缺失或模糊区域进行合理补全。背景鲁棒性测试进一步验证了这一点。

鲁棒性测试传达了一个很关键的信息：TryOnCrafter 的 4D 试衣代理并不要求完美重建，它更像是一个稳定的空间脚手架。即使脚手架存在局部缺口，模型仍能依靠几何约束与生成能力完成高质量试衣视频合成。

性能测试

为了进一步分析 TryOnCrafter 的实际计算开销，论文对完整流程进行了细粒度性能剖析。实验结果显示，完整 4D 试衣代理构建与渲染总耗时为 38.9s，峰值显存为 59.1GB。相比之下，最终的 DiT 视频生成阶段耗时约 1360.0s，峰值显存为 68.6GB。这说明 4D 试衣代理虽然引入了大量显式几何建模管线，但它并没有成为该方法的主要性能负担。

更重要的是，4D 试衣代理具有天然的复用性。当用户希望为同一个人物和同一件服装生成不同相机轨迹时，系统无需重新完成全部构建流程，只需要重新渲染 4D 试衣代理即可。改变相机轨迹后的代理重渲染仅需约 14.3s / 20.3GB。这意味着在多视角、多镜头、多版本试衣展示场景中，TryOnCrafter 的边际成本会显著下降。

未来展望

TryOnCrafter 作为首个面向可控相机视频虚拟试衣（CaM-VVT）任务的统一框架，首次实现了任意相机轨迹下的视频虚拟试衣生成。通过引入可渲染 4D 试衣代理和代理锚定视频 DiT 等核心技术，TryOnCrafter 能够精准生成 360 度环绕、主体重定位和子弹时间等全新视角的试衣效果。

作为视频试衣领域从「被动跟随相机」向「主动控制视角」跨越的重要里程碑，TryOnCrafter 为未来虚拟试衣应用的研究开辟了全新路径。

展望未来，我们将进一步探索 4D 试衣代理的实时构建与渲染效率、更高生成分辨率下的视角一致性、以及更长时间序列下的稳定性。我们致力于为更多用户打造更加智能、自由、沉浸式的虚拟试衣体验。

本文出自淘天集团 - 拍立淘多模态生成团队，专注于多模态内容理解和生成算法的技术探索与应用，致力于以领先的算法技术能力重塑用户体验、驱动产品创新，并深度赋能电商生态的多样化场景。

文章来自于微信公众号 “机器之心”，作者 “机器之心”