Yann LeCun连续转发并高度认可的VISReg，到底强在哪？

本文第一作者 Haiyu Wu 博士毕业于美国顶级私立学府圣母大学，现在就职于 Altos Labs —— 一家拥有 30 亿美元启动资金，专注研究细胞重激活的初创公司。他的研究方向为，世界模型和多模态模型的稳定性以及泛化能力。其余两位作者分别是布朗大学教授，LeJEPA/SIGReg 的第一作者 Randall Balestriero 和前耶鲁大学教授，现 Altos Labs 的副总裁，Morgan Levine。

近日，自监督学习新工作 VISReg（Variance-Invariance-Sketching Regularization）获图灵奖得主 Yann LeCun 连续转发并给予高度认可 —— 他在转发时评价道「VICReg begat SIGReg which begat VISReg」（VICReg 孕育了 SIGReg，SIGReg 又孕育了 VISReg），一句话点明了这条正则化路线的技术传承。能获得 LeCun 如此认可，VISReg 究竟强在哪里？答案在于：它精准命中了 LeCun 长期押注的 JEPA 世界模型的核心难题 —— 表征坍塌（representation collapse）。VISReg 将防止坍塌的正则项解耦为「尺度」与「形状」两个独立目标，在不依赖任何启发式训练技巧、也不依赖海量数据的前提下，于 15 个数据集上综合表现超过 7 种主流自监督学习方法；其中仅用约 1/10 的训练数据，即在分布外（OOD）基准上追平 DINOv2。

• 论文标题：VISReg: Variance-Invariance-Sketching Regularization for JEPA training
• 论文地址：https://arxiv.org/abs/2606.02572
• 代码 / 预训练权重：https://github.com/HaiyuWu/visreg
• 项目主页：https://haiyuwu.github.io/visreg/

一、研究背景：表征坍塌与正则化的两难

JEPA 世界模型的底层是 Yann LeCun 自 2017 年起持续倡导的自监督学习（Self-Supervised Learning, SSL）。SSL 无需人工标注即可从海量数据中学习通用表征，但普遍面临一个核心难题 —— 表征坍塌（representation collapse）：模型倾向于把不同输入映射到相同或极少数几个向量上，看似完成了训练，实则未学到有判别力的表征。

为抑制坍塌，主流方法大多依赖一系列启发式技巧（EMA、教师 - 学生网络、停止梯度、冻结层等）。这些技巧使训练变得脆弱、难以调参，也削弱了方法的可解释性与可扩展性。

另一条路线是通过正则项直接约束表征分布。LeCun 团队提出的 VICReg 将学习目标拆为方差、不变性、协方差三项，用协方差约束各维度之间的相关性；但协方差仅刻画二阶统计量，无法区分「均值、方差相同，而分布形状迥异」的两种表征。其后提出的 SIGReg 基于 Cramér–Wold 定理，用 sketching 技术将整个嵌入分布对齐到标准高斯，从而约束完整的分布形状。然而 SIGReg 仍存在两个关键缺陷：

• 坍塌时梯度消失：当表征开始坍塌时，SIGReg 的梯度随之衰减 —— 坍塌越严重、修正信号越弱，模型难以自行恢复；
• 尺度与形状耦合：未将「幅度大小（尺度）」与「分布形态（形状）」两个独立属性分离，二者在优化中相互干扰，导致在长尾、低质量、低秩数据上适配性较差。

也就是说，在模型最需要梯度信号来逃离坍塌状态时，SIGReg 的梯度恰恰趋近于消失。

这正是 VISReg 要解决的核心问题。

二、核心方法：将正则项解耦为尺度与形状

VISReg 对 VICReg 与 SIGReg 取长补短：保留 VICReg 的方差项来控制尺度，同时用基于切片 Wasserstein 距离（Sliced Wasserstein Distance, SWD）的 sketching 目标替代协方差项来控制形状，并通过停止梯度将二者彻底解耦。整个正则目标由三部分组成。

1. 尺度正则（Scale Regularization）

第一部分约束每一维的方差，防止幅值坍缩：

其关键性质在于：当模型坍缩时，该项的梯度趋近于一个常数，从而保证模型能够稳定地恢复 —— 这恰好弥补了 SIGReg 梯度消失的缺陷。

2. 形状正则（Shape Regularization）

第二部分先归一化以消除尺度影响，再单独约束形状。关键的一步是带停止梯度（stop-gradient, sg）的归一化：

这里对标准差 σ 施加停止梯度，使得形状损失的优化不会反过来改变尺度 —— 这正是「尺度」与「形状」两个目标真正解耦、互不干扰的机理所在。

归一化之后，再用切片 Wasserstein 距离将分布的几何形状对齐到各向同性高斯：

其中 q_N 为标准高斯分位数，w_k 为随机投影方向（即「切片 /sketching」）。其理论依据是 Cramér–Wold 定理（论文 Lemma 3.1）：* 两个分布相等，当且仅当它们沿单位球面上所有方向的一维投影都相等 *。因此，只要把高维表征沿足够多的随机一维方向切片后逐一对齐到高斯，就等价于在高维空间对齐了整个分布 —— 这使得可以用廉价的一维排序操作刻画完整的分布形状，而非仅仅二阶统计量。

3. 合并目标

第三部分是一个将 batch 均值 μ 拉向原点的中心化损失 L_center = ‖μ‖_2^2。三个正则项按权重组合：

预测损失沿用 JEPA / LeJEPA 的不变性目标 —— 让各视角（global + local，共 V 个）的嵌入 z_i 都向全局视角的均值 μ_g 对齐：

最后用单一超参 λ 在预测与正则之间平衡，得到完整目标：

与 VICReg 的对比：VICReg 同样将正则解耦为方差 + 协方差，但协方差只刻画二阶统计量；VISReg 用基于切片 Wasserstein 的 sketching 目标完整刻画了分布形状，同时保留方差项做尺度控制 —— 既保留了 VICReg 的灵活性，又获得了分布层面的严格性。

仅需约 15 行 PyTorch 代码

该正则目标在实现上非常轻量，核心逻辑只需约 15 行：

def visreg (z, K=64):

# 1. 中心化损失

mu = z.mean (dim=0)

L_center = mu.pow (2).mean ()

# 2. 尺度损失

z_cent = z - mu

std = z_cent.std (dim=0, unbiased=False)

L_scale = (1.0 - std).pow (2).mean ()

# 3. 形状损失：切片 Wasserstein 距离

z_norm = z_cent / (std.detach ())

W = torch.randn (D, K)

W /= W.norm (p=2, dim=0)

p_sorted = torch.sort (z_norm @ W, dim=0).values

u = torch.arange (1, N+1) / (N+1)

target = Normal (0, 1).icdf (u)

L_shape = (p_sorted - target).pow (2).mean ()

return L_scale + L_shape + L_center

计算复杂度与扩展性

在计算与扩展性上，VISReg 同样具备优势。其正则部分的计算复杂度为 O (NDK)（N 为 batch、D 为维度、K 为切片数），对所有扩展因子都是线性的；相比之下，VICReg 的协方差项为 O (ND^2)，随维度平方增长。在同等 batch 规模下，VISReg 在单块 H100 GPU 上的运行速度与显存占用均优于 SIGReg。

更重要的是，K 个随机切片可以分摊到多块 GPU 上：在 M 块 GPU 上每块各生成 K/M 个切片，效果等价于单卡生成全部 K 个。实验中，当单卡切片数不足时，改用 8 卡、每卡 128 个切片（合计 1024），即可把与「单卡 1024 切片」之间的精度差距从约 2.4% 缩小到 0.22%。这意味着扩大训练规模时 K 可保持常数，几乎不增加单卡负担。

图：在固定 K 与 D 时，增加 GPU 数量带来的线性探测精度变化。当 K 不足（K = ¼D）时，用 8 倍的 GPU 数量即可把精度补齐到 K = 2D 的水平 —— 这使得在大规模训练中保持常数 K 成为可能。

三、实验结果

回到标题的问题 ——VISReg 到底强在哪里？研究团队在 15 个数据集（8 个域内 + 6 个分布外 + ADE20K 稠密预测）上，将 VISReg 与 MoCoV3、DINO、iBOT、I-JEPA、MAE、data2vec 等 7 种主流自监督方法进行了对比，场景涵盖天文、医疗、遥感、纹理、花卉等。答案体现在从识别到分割、生成的多个维度上。

1. 域内（In-Domain）线性探测

为保证比较公平，实验按是否使用启发式技巧分为两组。在不使用任何启发式技巧的一组中，VISReg 领先：ViT-B/16 的域内线性探测精度达 75.7%，高于 MAE（75.1%）；ViT-L/14 进一步提升至 77.0%，高于 LeJEPA（75.6%）。与使用启发式技巧的 iBOT、DINO 相比，VISReg 在常规数据集上仅略低，但在纹理数据集 DTD 上反超全部方法 —— 这表明其跨域泛化能力源于方法本身，而非人工技巧的堆叠。

2. 分布外（OOD）泛化：全面最优

分布外泛化是比域内精度更严格的检验：依赖启发式的方法常在 ImageNet 域内被充分调优，却未必能迁移到差异较大的新分布。研究团队在覆盖医疗（ChestXRay、RetinaMNIST、OrganAMNIST）、天文（Galaxy10）、遥感（AID）、纹理（DTD） 的 6 个 OOD 数据集上评测，这些数据集与 ImageNet 训练域完全无关。结果显示，VISReg 在所有方法、所有骨干规模上都取得了最佳的平均 OOD 精度，甚至超过部分使用启发式技巧、且骨干更大的方法。

图 4：平均 OOD 线性探测精度。VISReg 全面优于 iBOT、DINO、MoCoV3、I-JEPA、MAE、data2vec 等方法。

如图 4 所示，ViT-B/16 的 VISReg 平均 OOD 精度为 70.19%，ViT-L/14 为 70.63%，明显高于 MAE（67.85%），并优于 MoCoV3（69.46%）、DINO（69.56%）、I-JEPA（68.55%）等方法。

3. 数据效率：以 1/10 数据比肩 DINOv2

将 VISReg（ViT-L/14）在 ImageNet-22K（约 1400 万张图像）上预训练后，其 6 个 OOD 数据集的平均精度达 72.94%，与在 10 倍规模的 LVD-142M（1.42 亿张图像） 上训练的 DINOv2（72.93%） 基本持平。也就是说，VISReg 以约 1/10 的数据达到了同等水平。（作为对照，同为 ViT-L/14、但仅用 ImageNet-1K 预训练的 VISReg 平均精度为 70.63%。）这说明其学到的表征具有很强的通用性。

图 5：在 ImageNet-22K 上预训练的 VISReg，在 OOD 基准上比肩用 10 倍数据（LVD-142M）训练的 DINOv2。

4. 迁移微调：全面超过 DINO

尽管 VISReg 在部分域内数据集上的线性探测精度略低于 DINO，但经过微调后，它在 CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10 全部五个数据集上均超过 DINO 与有监督预训练 —— 这表明其表征分布更均匀、冗余更低、可迁移性更强。

图：迁移学习对比。微调后，VISReg 在所有测试数据集（CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10）上都优于 DINO 与有监督预训练。

5. 稠密预测与生成引导

VISReg 的优势不局限于分类。在 ADE20K 线性语义分割上（ViT-B/16），其 mIoU 为 30.16，高于 DINO（29.40）与 MAE（23.60），仅次于 MoCoV3（31.69）；在不使用任何启发式技巧的前提下，这一结果具有竞争力。论文亦坦言，稠密预测与最佳方法仍有差距，是后续优化的重点。

图 7：ADE20K 上的线性语义分割。在不使用任何启发式技巧的情况下，VISReg 取得了具有竞争力的 mIoU，仅次于 MoCoV3。

在生成引导上（SiT-B/2，iREPA 框架，10 万步训练），由 VISReg 特征引导的生成在四项指标中的三项优于 DINO：gFID 40.36（DINO 41.15）、Precision 51.38（DINO 50.51）、Recall 61.26（DINO 60.70），IS 基本持平（33.48 vs 33.47）。这说明 VISReg 学到的表征作为生成引导信号同样更优。

图 8：使用 SiT-B/2、分别由 VISReg 与 DINO 特征引导的图像生成。VISReg 在多数指标上都提供了更好的引导（更低的 gFID、更高的 Precision 与 Recall）。

6. 低质量数据上的鲁棒性

在长尾分布（ImageNet-LT）与低秩（Galaxy10） 等低质量数据集上，VISReg 能稳定地防止坍塌并学到有意义的表征，而 DINO 在缺乏精细调参时直接失败。

表 1：ImageNet-LT 上的线性探测精度（ViT-S/8，从头训练 400 epoch；* 表示增大形状损失的权重）

DINO 在长尾数据上几近完全失败（Overall 仅 5.13%），而 VISReg* 取得了全面最优。

表 2：Galaxy10 上的域内线性探测精度（从头训练，测试低秩任务；* 表示增大形状损失的权重）

SIGReg、SWD、VISReg 都能成功避免训练坍缩并取得良好精度，而 DINO 难以学到有意义的特征。

四、结论

VISReg 表明：将表征正则解耦为「尺度」与「形状」两个独立组件，可以得到一种比现有方法更稳定、更高效、泛化性更强的自监督学习方法。在不使用任何训练启发式技巧的前提下，它在图像识别、分割与生成引导等多个维度上取得了领先或接近领先的结果，并以约 1/10 的数据达到了 DINOv2 的 OOD 水平。这为 JEPA 世界模型长期存在的表征坍塌问题提供了一种新的正则化解法。

文章来自于"机器之心"，作者 "Haiyu Wu 博士"。