多模态混合检索增强生成方法、装置、设备、介质及产品

本发明公开了一种多模态混合检索增强生成方法、装置、设备、介质及产品，涉及检索增强生成技术领域。所述方法是先对用户的原始查询语句进行多模态查询意图分析以得到各个模态的查询意图权重，然后针对各个模态，按照对应的查询意图权重正相关地分配对应的检索所需计算资源和/或检索所用优先级别，并基于对应的分配结果执行独立检索以得到对应的检索结果，再然后对所有检索结果进行多模态信息融合与排序处理，得到多模态内容列表，最后将列表整合成提示词并导入大型语言模型或大型多模态模型以输出得到多模态答案，如此可以实现从被动僵化且盲目检索到主动灵活且智能决策的跃升，显著提升响应效率、答案精准度和用户体验，并节省资源。