基于图感知学习的胸部X光片多模态预训练方法及系统

本发明涉及图像处理领域，提出一种基于图感知学习的胸部X光片多模态预训练方法及系统，通过构建多轮问答字典进行数据生成，从疾病分类、分类确定性以及对应病变部位三个层面，生成胸部X光片中各个病变部位的局部描述性文本，并自动生成全局性的描述文本，有效避免了数据不足的问题，并提高了文本描述的质量和一致性，又通过图感知预训练，基于从全局到局部的图感知学习方法，构建局部与全局特征之间的相关性图结构，深度挖掘胸片各部位与疾病之间的跨模态关联性，更准确地捕捉难以识别的微小视觉差异，减少图像与文本之间的模态差异，本发明提高了分析胸部X光片的精准度和泛化能力。