一种用于大模型长文本生成的指令微调数据集构建方法及系统

本发明涉及数据集构建技术领域，尤其涉及一种用于大模型长文本生成的指令微调数据集构建方法及系统，该方法包括：对半结构化或结构化开源知识库的文档进行层次化分解，按照主题、大纲和段落三个层级提取结构化内容，清除噪声，形成结构化单元；针对每个结构化单元构建检索式，在全网、指定知识库和/或检索系统中检索得到若干文献条目，从中选取相似度最高的文献条目，构建对应的参考文献摘要；基于每个结构化单元及对应的参考文献摘要，生成细粒度问答对；对所有的细粒度问答对分别进行质量过滤和置信度评估，构成结构化问答数据集。本发明通过多代理协作机制和层次化任务分解策略，有效提升了生成数据的质量与效率。