一种跨模态聚类引导图像编码器的训练方法

本发明涉及一种跨模态聚类引导图像编码器的训练方法，该方法将对比学习与聚类算法相结合，无缝利用医学图像和放射学文本的全局和局部特征。此方法促进了更为通用和鲁棒的医学视觉表示学习。将图像子区域和文本句子视为进行全局和局部对比学习的基本单元。全局图像和全局文本特征分别通过对编码器提取的局部图像和局部文本特征应用注意力池化得到，随后用于计算全局对比损失。一种跨模态聚类算法，利用通过跨模态注意力获得的局部图像‑文本特征来生成额外的负样本，这些负样本随后被用来计算局部对比损失。