ICML 2026 | 突破极限！港大提出首个适配300+任务的持续学习架构，破解遗忘难题

本文第一作者为香港大学计算与数据科学学院博士生娄蒙。

人类可以在一生中持续学习新知识，而不会轻易遗忘已有技能。然而对 AI 模型而言，这恰恰是一道极具挑战性的难题：每当模型学习新任务时，参数更新往往会覆盖历史知识，产生经典的 “灾难性遗忘” 难题。持续学习（Continual Learning）正是为突破这一瓶颈而生的研究方向。

其中，类增量学习（Class-Incremental Learning, CIL）是一项极具挑战性的持续学习问题：模型需要持续学习新类别，同时保持对历史类别的准确识别能力。近年来，借助大规模预训练模型（Pre-trained Model, PTM）的丰富先验知识，CIL 取得了长足进步。然而，现有方法大多只在极短的任务序列上进行验证，例如 5-20 个任务。一旦任务数量扩展至上百个，性能就会显著下滑甚至崩溃。真实世界中，一个长期运行的系统往往需要不断地学习新知识新概念，这一鸿沟亟待填补。

近日，来自香港大学的研究团队提出了一种全新的持续学习范式 CaRE (Scalable Continual Learner with efficient Bi-Level Routing Mixture-of-Experts)，首次将连续学习成功扩展到包含 300 个以上非重叠任务的超长序列，并在性能上大幅超越了现有的基线算法。此外，团队还精心构建了一个极具挑战性的超长序列评测数据集 OmniBenchmark-1K。代码和数据已经全部开源！

• 论文标题：Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
• 论文链接：https://arxiv.org/abs/2602.03473
• 代码 & 数据链接：https://github.com/LMMMEng/CaRE

研究动机

近年来，基于参数高效微调和预训练模型的持续学习方法取得了明显进展 。然而，这些方法仍然存在几个核心问题：

• 缺乏多任务知识互补： 随着任务序列的增长，新任务很有可能包含与历史任务语义相关的类别（例如不同种类的动物）。因此，模型需要具备一种能力：在区分猫和狗时，主动从历史的 “动物相关” 任务中提取特征，而不是从毫不相干的 “建筑物” 任务中提取 。 

• 缺乏逐层动态决策能力：深度模型在不同深度的网络层中具有不同粒度的语义信息。因此，每一个中间层都需要动态地检索和注入对自己定制化的知识，来输出适配当前层信息的表征。
  

• 评测数据集 “不够长”：现有的常用连续学习数据集（如 ImageNet-R）类别有限，通常只能支持短序列任务的评测，这使得现有方法在真实世界中的长程表现成谜 。

方法设计

1. 双阶段路由混合专家（Bi-Level Routing Mixture-of-Experts, BR-MoE）

CaRE 基于预训练 ViT，在每个 Transformer  Block 中无缝嵌入 BR-MoE 模块。每当新任务到来，BR-MoE 仅学习一组三元参数组合：类感知器（Class Perceptron）、路由网络（Router Network）和专家适配器（Expert Adapter）。

图 1  BR-MoE 工作流程：(a) 基于 BR-MoE 的 ViT build block；(b) 训练流程；(c) 推理流程

BR-MoE 的核心在于两阶段路由机制，旨在同时实现 “判别性” 与 “全面性” 两大目标：

 ①  动态路由器选择（第一阶段）

对于任意输入，BR-MoE 将其 [CLS] Token 送入所有历史任务的类感知器，逐网络层计算每个任务对应的预测熵值。熵越低，说明该任务与当前输入的语义分布越接近、越可能是正确的源任务。据此，BR-MoE 动态选取熵值最小的 Top-M 个路由网络，整个过程无需显式任务标签，且每一层都独立执行这套选择逻辑，实现了逐层自适应的动态路由。

 ②  动态专家路由（第二阶段）

激活的路由网络为其名下的专家适配器生成动态的权重分数，选出 Top-K 个最相关的专家进行加权融合，提取具有判别性和互补性的知识。与此同时，一个通过 EMA 机制持续更新的共享专家始终参与计算，确保全局跨任务通用知识的持续积累与注入。

两阶段设计的直觉在于：第一阶段找到 “最相关任务群”，第二阶段在相关任务群内精选互补专家进行融合。这种多个路由网络和专家的协同激活与计算，让模型不仅能够动态的输出最适配当前输入的 “判别性特征”，还能进一步检索相关的 “互补性特征”，从而形成强大的 “全面性特征”。此外，由于每一层都独立执行这套机制，模型从浅层模式到深层语义均具备自适应知识检索能力。更多技术细节请参考原文。

2. 持续学习新基准：OmniBenchmark-1K

为填补长序列评测基准的空白，研究团队同步贡献了 OmniBenchmark-1K 数据集。

该数据集从 OmniBenchmark-V2 精选 1000 个类别，包含约 190,000 张图像，横跨鸟类、食物、植物、动作等 21 个不同视觉领域，且已经排除与 ImageNet 的重叠数据，确保无缝使用 ImageNet 预训练模型，为数百任务规模的持续学习评测提供了坚实的测试平台。相比之下，常用基准数据集例如 ImageNet-R 只有 200 个类别，无法支持超长序列的场景；而 OmniBenchmark-1K 含有 1000 个类别，允许将任务数量上升至 100、200 乃至 300 以上，真正有效地测评模型应对极长任务序列的持续学习能力。

实验结果

1. 长序列持续学习全面领先

研究团队将 CaRE 与多个强大的持续学习方法进行了全面对比，在 OmniBenchmark-1K 上，团队设置了 100 任务、151 任务、200 任务，甚至拓展到了 301 任务的超长序列。值得关注的是，一些在短序列中表现出色的方法在长序列中性能急剧崩溃，充分暴露了现有方法在可扩展性方面的固有瓶颈，而 CaRE 始终保持稳健的学习轨迹。

表 1  CaRE 与其他持续学习方法在 OmniBenchmark-1K 长序列评测上的持续学习性能对比

图 2  CaRE 与其他持续学习方法在长序列评测上的持续学习趋势对比

2. 经典短任务序列 “同样能打”

不仅仅是长序列，在 ImageNet-R、ImageNet-A、ObjectNet 等经典的短序列评测中，CaRE 也稳居榜首，证明了其在可塑性（Plasticity）和稳定性（Stability）之间的完美平衡。

表 1  CaRE 与其他持续学习方法在经典设置下的对比

3. 深入分析：模型真的学会了 “精准回忆” 吗？

为了探究模型到底学到了什么，我们对 CaRE 内部的路由激活模式进行了可视化，非常有意思的发现：

• 浅层网络 “通用”，深层网络 “专一”： 在网络的浅层（如 Layer#3/6），少数专家会被高频调用，因为它们提取的是通用的底层视觉特征（如边缘、纹理） ；而在网络的深层（如 Layer 12），激活模式变得非常稀疏且具有高度的 “任务特异性”，这与网络深层需要提取高层抽象语义进行精确分类的任务完美契合 。 
  
• 测试时的知识穿越： 在推理阶段，即使处理早期的任务，模型也会动态调用从后续任务学到的互补专家知识。这证明了 BR-MoE 赋予了模型在测试阶段灵活整合全局知识的能力 。

图 3 BR-MoE 激活情况可视化

总结与展望

CaRE 是目前首个被系统验证能在 300 + 无重叠任务上稳健运行的持续学习方法，同时在经典短序列设置中保持全面领先。提出的 BR-MoE 机制统一了判别性与全面性两大表征目标，并将动态知识检索能力注入每一个网络层，构建了一个强大且可扩展持续学习系统。此外，CaRE 的双层路由思路理论上可以应用于跨模态持续学习，如图像、语言和音频的联合序列学习，有望成为下一个 “风口”。

在 AI 模型向长期部署迈进的当下，我们希望 CaRE 及配套的 OmniBenchmark-1K 基准能够为探索持续学习提供有价值的参考。同时，我们也期待这项工作能够激励更多研究者投身于构建真正能 “越学越强” 的持续学习系统。

更多技术细节和实验分析请参考原文：)

文章来自于"机器之心"，作者 "娄蒙"。