基于多模态多粒度特征的胸部X光影像预训练方法及系统

本发明涉及医学影像技术领域，具体涉及一种基于多模态多粒度特征的胸部X光影像预训练方法及系统。该方法包括：构建基于多模态多粒度特征的胸部X光影像数据集，数据集包括胸部X光影像和相关的放射学报告；利用预训练的Faster R‑CNN模型对影像进行解剖学部位的标注，并将放射学报告进行结构化处理，将文本信息与解剖学部位标注相关联；构建多模态多粒度特征提取与融合模型，通过基于Transformer的Beit和Bert模型分别提取图像和文本的粗粒度与细粒度特征，并通过基于双向注意力机制的网络融合这些特征；最后，训练所述模型，使用多种损失函数以优化模型性能，并进行系统测试。该方法旨在提高胸部X射线影像的自动化和智能化判断能力，增强医学诊断的准确性和效率。