基于多尺度表示注意机制用于全切片图像分析的深度多实例学习方法

最近，基于卷积神经网络(CNN)直接使用全切片图像(WSIs)进行肿瘤诊断和分析的研究引起了广泛关注，因为这类方法只利用切片级标签进行模型训练，而无需额外的标注。然而，直接处理超大像素的全切片图像仍然是一项具有挑战性的任务，主要因为每个WSI中包含数十亿像素且存在内部的多样性。为了解决这一问题，本文提出了一种新颖的端到端可解释的深度多实例学习(MIL)框架，用于WSI分析。该框架通过使用一个双分支深度神经网络和多尺度表示注意力机制，直接从每个WSI的所有补丁中提取特征。具体而言，我们首先将每个WSI划分为包级、补丁级和细胞级图像，并将切片级标签分配给其对应的包级图像，从而将WSI分类问题转化为一个多实例学习问题。此外，我们设计了一种新颖的多尺度表示注意力机制，并将其嵌入到双分支深度网络中，以同时挖掘带有正确标签的包、显著的补丁及其细胞级信息。大量实验表明，所提出的框架在分类准确性和模型可解释性方面优于最新的先进方法。