一种轻量高效的多模态文档检索增强方法

本发明公开了一种轻量高效的多模态文档检索增强方法，通过利用多模态大语言模型，训练稀疏编码器、多向量编码器和多模态文档重排器，结合稀疏检索与多向量细粒度延迟交互策略；通过设计结合稀疏索引与多向量表示的混合检索架构，有效缓解了传统多模态检索方法在海量数据场景下面临的内存瓶颈与响应延迟问题；引入的时间成本感知加载策略与聚类存储机制协同优化了延迟交互得分计算效率；最终融合稀疏与延迟交互得分，并结合多模态语言模型重排序器，显著提升了文档匹配精度，全面提高多模态检索增强系统的响应效率与用户体验。