一种基于检索增强生成的端到端的大模型微调方法和系统

本发明提出一种基于检索增强生成的端到端的大模型微调方法和系统，包括：读取用户历史问题的文本信息；利用分词器模型的语义提取模块对文本信息进行深层语义抽取得到关键语义输出；从数据库中获取编码后的语义向量，利用BGE检索模型和利用M3E向量模型对深层语义信息进行编码并召回相似信息，将两路召回后的向量语义信息进行合并；分别计算深度语义信息向量和文本信息向量在语义空间中与目标向量的KL散度，选取代价较小的输入到审查模块；将偏好数据利用DPO算法对模型进行训练，得到符合人类偏好的模型。该方法得到的微调后的模型在推理的过程中无需经过预处理，缓解因检索不精确而导致的模型幻觉，毒性等问题。