一种大语言模型辅助的跨模态医学数据哈希检索方法

本发明涉及一种大语言模型辅助的跨模态医学数据哈希检索方法，属于智慧医疗系统中人工智能信息检索领域。联合大语言模型的语义泛化能力，设计图像描述型、诊断报告总结型和联合模态推理型提示模板进行模态数据增强，实现对医学图像和诊断报告数据的深层次语义挖掘；利用结构化编码层确保图像和文本的特征能够在统一的嵌入空间内进行精确匹配；采用软提示和硬提示相结合的方式微调大语言模型，实现图像和文本特征的对齐；引入高斯二元受限玻尔兹曼机进行概率化哈希映射，有效保留数据结构信息，生成哈希码进行跨模态哈希检索。可实现不同模态间医疗案例的语义相似性检索，实现高效检索效率，为患者提供精确、个性化的诊断和治疗方案。