一种U型混合Transformer网络

本发明公开了一种U型混合Transformer网络，将卷积层和自注意力机制的进步融合在一起，用于医学图像分割。混合层设计允许将Transformer初始化到卷积网络中，而无需预先训练。新颖的自注意力机制使我们能够在编码器和解码器的不同网络级别扩展操作，以更好地捕获长距离依赖关系。这种设计将有助于丰富参数化的Transformer模型在医学视觉应用中变得更加容易使用。此外，高效处理长序列的能力为UTNet在更多下游医学图像任务中的使用开辟了新的可能性。