基于检索增强的生成式语言模型的训练方法、对话生成方法及装置

本发明公开了一种基于检索增强的生成式语言模型的训练方法、对话生成方法及装置，包括：对原始历史对话进行数据清洗，构建经过预训练的第一大语言模型和第二大语言模型，将清洗后的历史对话输入到第一大语言模型，生成对应的问题描述语句和回复语句；将问题描述语句和回复语句输入到第二大语言模型，生成对应的单条第一知识，再进行数据筛选，得到筛选后的数据；将数据库中检索到的n条第二知识与生成的单条第一知识构成每条高质量历史对话对应的n+1条知识，构建得到混合训练数据；利用混合训练数据训练生成式语言模型。本发明能够解决训练数据获取难度大，现有RAG系统回复不够准确等问题。