基于视觉-语言多模态对比学习的超声图像预训练方法

本发明公开一种基于视觉‑语言多模态对比学习的超声图像预训练方法，通过单模态局部对比学习与多模态局部对比学习实现特征对齐，并创造性地提出自监督预训练方法，该方法使用医学超声图像数据与诊断报告文本数据学习输入图像和报告文本的单模态和多模态特征表示，利用单模态对比损失与多模态对比损失对齐图像与文本特征。本发明考虑到超声图像与诊断报告的特点，本发明采用局部对比学习的方式来细粒度对齐图像与文本特征。本发明以掩码语言建模和图像文本匹配作为预训练目标进行预训练。