用于图像引导介入的实时多模态可变形图像配准的系统和方法

提供了用于图像引导的介入的实时多模态可变形图像配准的系统和方法。为患者获取介入前三维(3D)磁共振成像(MRI)图像以及捕获各种呼吸状态和姿势的多个3D超声(US)图像。使用经训练的MR‑US变形模型(1000)将MRI图像配准到每个US图像，从而产生经变形的MRI图像。在介入期间，采集介入3D US图像，并且使用经训练的US‑US变形模型(1200)将其配准到介入前US图像，从而确定翘曲场。该翘曲场被应用于对应的经变形的MRI图像，产生已配准的3D MRI图像，以用于在实况介入US图像上可视化来自介入前MRI的带注释的组织特征。所公开的途径充分利用多模态成像和深度学习模型，以通过将MRI的优越软组织对比度与实时US成像能力相结合来增强介入期间的可视化。