摘要
本发明公开了一种基于多模态向量化的医疗信息检索方法、系统及存储介质,涉及智能检索领域。该方法的步骤包括:构建语料库并进行领域自适应微调后,得到领域优化召回模型;根据领域优化召回模型通过跨模态注意力机制和门控融合机制生成混合模态向量;对检索原文进行切片处理;对待检索信息进行改写和向量化后,根据所述混合模态向量和所述父子节点切片结构进行检索。本申请提出了一种能够结合专业语料语义优化、多模态信息融合、智能文档切片和查询改写的检索方法,解决了医疗RAG系统中多模态信息融合不充分及文档切片导致的语义断裂问题。
技术关键词
信息检索方法
切片结构
信息检索程序
注意力机制
节点
跨模态
关键词
多模态信息融合
摘要
信息检索系统
文本特征向量
图像特征向量
会话历史
智能文档
实体
语义
三元组