中国科学院携手全球顶尖机构发布首个十亿参数级的手术视频基础模型SurgMotion！

手术 AI 正在从 “单帧感知” 迈向 “全流程视频理解” 的全新时代！近日，由中国科学院香港创新研究院人工智能与机器人创新中心领衔，联合中国科学院自动化所、香港中文大学、慕尼黑工业大学、北京协和医院、中山大学附属第一医院、香港威尔斯亲王医院、香港大学深圳医院等全球顶尖机构，正式发布了全球首个十亿级参数、最大规模数据集练成的手术视频原生基础模型 ——SurgMotion！

• 论文：SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos
• 论文链接：https://arxiv.org/pdf/2602.05638
• Github 仓库: https://github.com/CAIR-HKISI/SurgMotion
• Hugging Face 权重: https://huggingface.co/CAIR-HKISI/SurgMotion 

作为手术 AI 领域的里程碑式成果，SurgMotion 依托于迄今为止全球规模最大、术式覆盖最全的千万帧级（SurgMotion-15M）手术视频数据集，首次突破十亿级参数规模，实现了对器械 - 组织交互及复杂时空运动语义的深度建模。不仅如此，模型在首次覆盖 17 项核心手术任务的系统性评测中展现出卓越性能：手术视频动态理解性能平均提升达 16.5%；手术中静态任务（如深度估计、病灶分割）平均误差降低 2.9%，全方位定义了通用手术视频理解的全新技术标杆！

发布仅三个月，SurgMotion 已迅速成为 Hugging Face 上全球下载量第一的手术视频基础模型！ 目前，已有来自 5 大洲、14 个国家和地区的近 40 个全球顶尖机构与研究团队（包括直觉外科、卡尔史托斯、蔡司、杜克大学、慕尼黑工业大学等）正式申请使用。

图 1. SurgMotion 基础模型架构及多场景、多任务赋能示意图。

01. 范式颠覆：

从 “像素重建” 到 “时空运动预测”

传统的医疗视觉模型往往受限于 “单帧图像” 的静态感知，或是深陷于低效的像素级重建泥潭。在实际手术中，烟雾、反光、出血等低级视觉噪声会消耗模型大量的计算资源，导致模型无法真正理解手术的 “动态语义”。

SurgMotion 带来了行业内首次根本性的范式颠覆！基于先进的视频联合嵌入预测架构（V-JEPA），SurgMotion 彻底摒弃了传统的像素级解码，转而专注于潜空间（Latent Space）中的运动预测。SurgMotion 引入了三大核心技术创新：

• 运动引导的潜空间遮蔽预测（Motion-Guided Latent Masked Prediction）：引导模型自动过滤无用噪声，将注意力聚焦于器械运动、组织形变等关键手术语义区域。
• 时空亲和力自蒸馏（Spatiotemporal Affinity Self-Distillation）：强制模型学习手术视频在时间和空间上的强关联性，实现对复杂手术流程的连贯理解。
• 时空特征多样性正则化（SFDR）：有效解决手术场景中由于纹理单一而导致的表征崩溃问题，确保模型在各种极端手术场景下依然保持极高的鲁棒性。

图 2：SurgMotion 的预训练框架与下游评估流程。

02. 全球最大：

SurgMotion-15M 预训练数据集

巧妇难为无米之炊，手术视频的高门槛、隐私性和标注难度，导致行业长期处于 “数据孤岛” 状态。

为了彻底打破这一瓶颈，研究团队倾力打造了迄今为止全球规模最大、术式最丰富、覆盖最全面的手术视频预训练数据集 ——SurgMotion-15M：

• 超大体量：包含 3,658 小时的真实手术视频，总帧数高达 1500 万帧；
• 极高多样性：汇聚了来自 50 个不同数据源的珍贵影像；
• 全科室覆盖：横跨 13 个主要解剖区域，涵盖腹腔镜、胸腔镜、神经外科、眼科、耳鼻喉科等多学科复杂术式。

如此庞大且高质量的数据滋养，赋予了 SurgMotion 史无前例的泛化能力与跨科室通用性。

图 3：SurgMotion-15M 与国内外主流手术视频数据集的总时长对比。

03. 模型参数史上首次迈入十亿级

在 1B 参数 支持下，SurgMotion 成功整合视频特征空间，将手术视频核心动态与时空信息深度学习。该模型对器械 - 组织交互、组织形变及操作节奏的捕捉能力显著超越以往。

图 4：预训练数据规模、模型参数量与流程识别性能对比。

04. 首次全面评测：

覆盖 17 项核心手术任务

在涵盖手术工作流识别、动作理解、深度估计、病灶分割、器械交互以及手术技能评估等 17 项权威基准测试中，SurgMotion 接受了极其严苛的系统性评测，并展现出了统治级的性能表现：

• 手术工作流理解（Workflow Recognition）：在 EgoSurgery 数据集上，F1 分数大幅提升 14.6%；在 PitVis 数据集上提升 10.3%。
• 动作三元组识别（Action Triplet Recognition）：在行业公认的 CholecT50 数据集上，以 39.54% mAP-IVT 的优异成绩刷新世界纪录；
• 静态视觉与几何感知：在深度估计任务中，误差平均降低 2.95%；在息肉 / 病灶分割任务中，精度相较于既有最强模型平均提升约 1.0%，展现出极强的空间几何感知力。

无论是宏观的手术步骤推理，还是微观的器械 - 组织交互，SurgMotion 都用详尽的评测数据证明了其作为通用底座的强大实力。

图 5. SurgMotion 在各项主流手术理解任务及科室中的性能雷达图

05. 全球生态共鸣：推动技术落地与合作

对于广大医疗 AI 科研团队而言，数据清洗、算力开销以及繁琐的环境配置往往是阻碍创新的最大痛点。因此，SurgMotion 在 GitHub 和 Hugging Face 上全面开放了模型权重、微调代码、开箱即用的评估框架与环境配置接口。自发布以来，SurgMotion 的影响力已从学术界快速延伸至全球医疗技术与临床研究生态，并在产业界、科研机构和临床场景中形成广泛共鸣：

• 产业合作方面：已有至少 5 家医疗科技企业和行业机构申请使用 SurgMotion，包括 Intuitive Surgical（达芬奇手术机器人公司）、Karl Storz（内镜设备龙头）和 ZEISS（光学与医疗设备企业）等研发团队，用于手术视频理解、内镜智能分析、机器人辅助手术等方向的技术评估与应用探索。
• 高校与科研生态方面：已有至少 22 所高校和科研机构加入 SurgMotion 的使用与验证，包括 Duke University、慕尼黑工业大学（TUM）、悉尼大学、香港科技大学、澳门大学等团队，研究方向覆盖手术 VLA 模型开发、视频特征提取、时序推理、手术动作理解和多模态手术智能等前沿领域。
• 临床实践合作方面：已有至少 7 家医院、医学院及临床相关机构申请使用 SurgMotion，包括 Samsung Medical Center、Bucheon Sejong Hospital、Southern Medical University、Thomas Jefferson 等机构，围绕手术教学、术中质量评估、数据质控和结构化复盘等真实临床需求开展探索。特别是，SurgMotion 团队与港大深圳医院紧密合作，通过自动化手术视频结构化分析，推动手术标准化教学、手术质量复盘与临床质控流程的智能化升级。

这一生态扩展为 SurgMotion 提供了从基础研究、产业验证到临床落地的多维应用场景，也进一步体现了其作为手术视频基础模型的通用能力与真实世界价值。

中国科学院香港创新研究院人工智能与机器人创新中心聚焦人工智能与生命健康的融合创新，围绕多模态大模型、具身智能、数字孪生开展研发，入选香港InnoHK计划。中心坚持临床和产业需求为驱动，以为医生患者创造价值为目标，成建制开展面向医疗AI 的研发与转化。

文章来自于微信公众号 “机器之心”，作者 “机器之心”