基于检索增强的大语言模型长文本回答方法及装置

AITNT
正文
推荐专利
基于检索增强的大语言模型长文本回答方法及装置
申请号:CN202411716751
申请日期:2024-11-27
公开号:CN119917606A
公开日期:2025-05-02
类型:发明专利
摘要
本发明提供一种基于检索增强的大语言模型长文本回答方法及装置,方法包括:通过第一大语言模型对候选文本中文本片段生成提问样本,构建问答训练样本数据后通过对比学习训练第二大语言模型,得到文本检索器;从外部知识数据库中获取目标检索文本,根据预设的滑动窗口在目标检索文本上滑动,调用文本检索器对滑动窗口内文本进行基于因果注意力机制的特征提取,得到每个检索句子的检索语义特征;调用文本检索器对查询语义特征进行检索,得到召回知识文本,结合目标提问文本进行文本问答。通过本申请,克服在文本问答时需要对待检索文本进行分块检索,限制了检索增强有效召回,导致大语言模型根据检索证据进行文本回答时准确率低下的缺陷。
技术关键词
检索句子 文本 大语言模型 滑动窗口 训练样本数据 注意力机制 非暂态计算机可读存储介质 语义特征提取 掩码矩阵 选取特征 处理器 模块 队列 存储器 标记 电子设备
系统为您推荐了相关专利信息
1
知识图谱构建方法、电子设备和计算机可读存储介质
三元组 大语言模型 样本 多模态 知识图谱构建方法
2
一种大模型与eVTOL模拟座舱相结合的培训系统及方法
培训系统 语音识别模块 纠错算法 空中交通管制 指令
3
一种基于糖尿病管理策略推荐的指导文本生成方法和系统
管理策略 文本生成方法 多层注意力 糖尿病管理 实体
4
一种基于RAdam与余弦退火的BERT-TextRank文本分类方法
文本分类方法 BERT模型 生成文本摘要 优化器 多头注意力机制
5
语言处理模型训练方法、装置、电子设备和可读存储介质
语音 训练文本数据 标记 模型训练方法 风格
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号