一种基于多模态学习的定制化镜检病例分级检索系统

本发明提供一种基于多模态学习的定制化镜检病例分级检索系统，利用CLIP模型处理以图像形式输入的检索需求，并与以文本形式输入的检索需求融合后，提取其特征表示信息，再与历史数据中图像经CLIP编码后的特征表示进行对比得到与融合后检索需求最接近的历史图像；本发明针对医学图像具有较多细粒度差异的特点，对现有的特征匹配方式进行了改进，引入对历史数据特征表示的分级检索设计，提高了定制检索的准确度。本发明结合病人的镜检图像和医师诊断中的具体需求，检索、呈现历史相关病例图像及诊断信息，辅助医师做出判断、提高诊断准确性；本发明将特别有助于镜检中争议病例、稀少病例等的诊断，为医师诊疗提供可靠的依据和参考。