一种多语义粒度的跨模态预训练方法

本发明属于跨模态预训练技术领域，公开一种多语义粒度的跨模态预训练方法。旨在通过融合医学知识库、结构化三元组提取、多任务对比学习与跨模态注意力机制，提升医学影像分析的准确性和可解释性。该方法适用于病灶检测、疾病分型分级诊断，并兼容CTA、IVUS等多种医学影像模态。本发明首先构建了文本处理模块，清洗掉冗余的文本内容，得到关键字，并进行特征提取。然后构建了基于3D视觉编码器的医学影像处理模块。接着进行视觉‑文本标记初步对比，最后通过掩码语言建模和视觉‑文本匹配进行精细对比。最终实现应用于医学影像的跨模态预训练。