摘要
本发明提供了一种基于检索增强生成的两阶段问答对构建方法、装置,包括获取待处理的行业知识和产品知识,将行业和产品知识拆分成多个单篇文章,生成文章集合,并采用预设的主题模型对文章集合进行预处理,得到多个不同主题的文章子集,基于预设的prompt输入,得到文章集合对应的话题列表,使用预设的问题改写提示工程对话题列表进行预处理,得到对应话题的问题列表;对文章子集和问题列表进行向量化处理,将处理后得到的向量化结果进行相似度计算,根据相似度计算后的文本块组装prompt,并基于大语言模型LLM生成回答对。本发明先生成特定范围内的问题,再生成答案的策略,提升了问答对的复杂度和多样性;同时,构建了文章合集,提升了问答对的丰富度。
技术关键词
问答对构建方法
主题模型
话题
列表
生成文章
大语言模型
文本
样本
阶段
降维算法
生成答案
摘要
重构
数据
聚类算法
复杂度
系统为您推荐了相关专利信息
数据清洗方法
字符
预训练语言模型
列表
矫正模型
注意力
矩阵
分块
列表
非暂态计算机可读存储介质