一种检索增强生成方法、装置、设备、介质及产品

本申请公开了一种检索增强生成方法、装置、设备、介质及产品，涉及数据处理领域，该方法包括将问题输入训练好的多模态嵌入模型得候选文本集合、图像集合和表格集合；多模态嵌入模型包括：用于输入文本数据、图像数据和表格数据的多模态编码模块；将问题和候选文本集合输入训练好的多粒度检索模型得到最优文本组合；多粒度检索模型中基于图注意力网络的文本关系建模模块用于得到各文本数据的重要性得分；动态规划模块用于以重要性得分之和最大为目标，得到最优文本组合，本申请在面对跨模态场景、超长文本及复杂结构化数据时，可提升模型的理解力、表达力与检索能力。