一种基于改进微调、组合检索RAG和Qwen2.5-72B的政务知识实时对话方法

本发明涉及一种基于改进微调、组合检索RAG和Qwen2.5‑72B的政务知识实时对话方法，包括：采集政务对话数据并标注，形成监督数据集，即训练集；利用监督数据集对Qwen2.5‑72B大模型进行微调，使微调后的Qwen2.5‑72B大模型能够更准确地进行政务对话回答；爬取政务相关知识，构建知识问答向量数据保存于LangChain的向量存储器；微调后的Qwen2.5‑72B大模型利用用户查询问句、prompt提示词和组合检索RAG检索出的嵌入向量对应的原文的前5个块生成问询答案。本方案采用Qwen2.5‑72B大模型构建训练集、改进微调、微调后的模型作为嵌入模型、组合检索RAG和构建Prompt提示词，能够提高训练数据质量，更细致地理解数据中的关系和模式来帮助减少偏差，并充分理解用户的对话意图和准确检索，从而显著提高对话应答的精确度。