一种跨模态医学数据哈希检索方法

本发明涉及一种跨模态医学数据哈希检索方法，属于人工智能信息检索领域。该方法包括：将医学超声图片和超声报告进行数据清洗和预处理，统一超声图像大小和超声报告格式；基于Transformer编码器为医学图像和诊断报告定制了图像编码器和文本编码器，并借助三个预训练任务的联合学习来提取医学图像和诊断报告的特征；构建不同模态的流形相似矩阵，同时引入了哈希码间的平衡约束和线性分类网络约束学习哈希函数；通过哈希函数得到超声图片和超声报告的哈希码，进行跨模态哈希检索。本发明可以实现不同模态间医疗案例的语义相似性检索，如通过超声报告快速定位相关的超声图像，或者逆向利用超声图像来检索匹配对应的超声报告。