解剖学区域引导的医学视觉-语言预训练系统

本发明属于医学影像处理技术领域，具体为解剖学区域引导的医学视觉‑语言预训练系统。本发明系统包括：解剖学区域与报告分句对齐模块、内部表征学习强化模块、外部表征学习强化模块；对齐模块由目标检测器、文本解析器以及二者间的自动化对齐范式构成，通过对比学习赋予模型细粒度对齐能力；内部表征学习强化模块利用图像编码器和图像标签识别解码器，将图像特征与其对应标签相关联，并提供开放疾病类别检测的功能；外部表征学习强化模块利用软标签和硬标签的对比学习，提升不同图像‑报告对之间的关联性。本发明以解剖学区域为中心，同时强化图像‑报告对内部与外部的细粒度语义关联，可显著提升基于当前预训练系统的下游任务准确率。