一种生成多会话对话的大语言模型

本发明提供一种生成多会话对话的大语言模型，包括原始大语言模型、VAE单元、LoRA单元和隐藏状态生成单元；VAE单元接收当前查询，或从对话历史中提取每轮对话中的查询，然后生成当前查询和对话历史对应的隐式向量表征，并将该隐式向量表征传送到隐藏状态生成单元；LoRA单元连接在原始大语言模型的每一层的输出之后，将每一层的输出叠加权重矩阵，然后将结果传送给隐藏状态生成单元；隐藏状态生成单元接收LoRA单元和VAE单元的输出以及原始大模型每一层的参数，将三者相加得到原始大语言模型每一层的新的隐藏状态。本发明可以生成和对话历史一致的回复，提升大语言模型的对话能力，可以丰富用户的对话体验并吸引用户的对话兴趣。