摘要
本发明提供一种基于检索增强的大语言模型长文本回答方法及装置,方法包括:通过第一大语言模型对候选文本中文本片段生成提问样本,构建问答训练样本数据后通过对比学习训练第二大语言模型,得到文本检索器;从外部知识数据库中获取目标检索文本,根据预设的滑动窗口在目标检索文本上滑动,调用文本检索器对滑动窗口内文本进行基于因果注意力机制的特征提取,得到每个检索句子的检索语义特征;调用文本检索器对查询语义特征进行检索,得到召回知识文本,结合目标提问文本进行文本问答。通过本申请,克服在文本问答时需要对待检索文本进行分块检索,限制了检索增强有效召回,导致大语言模型根据检索证据进行文本回答时准确率低下的缺陷。
技术关键词
检索句子
文本
大语言模型
滑动窗口
训练样本数据
注意力机制
非暂态计算机可读存储介质
语义特征提取
掩码矩阵
选取特征
处理器
模块
队列
存储器
标记
电子设备
系统为您推荐了相关专利信息
三元组
大语言模型
样本
多模态
知识图谱构建方法
培训系统
语音识别模块
纠错算法
空中交通管制
指令
管理策略
文本生成方法
多层注意力
糖尿病管理
实体
文本分类方法
BERT模型
生成文本摘要
优化器
多头注意力机制