摘要
本发明公开了一种文本检索增强生成方法、装置、介质和设备,涉及检索增强生成技术领域。包括:通过向量化语料建立数据库,筛选并标注关键信息生成黄金分割向量库。利用训练问题从外部数据库提取对抗样本,与黄金分割向量库中相关语料融合训练集。加入噪声分类层改进语言大模型,用融合训练集训练改进语言大模型。处理用户问题时,召回相关语料,通过分类层识别噪声,注意力融合层生成上下文表示,输出层动态调整解码策略,生成回答。本发明通过该融合训练集训练一个添加噪声分类任务的大语言模型,使模型能够识别和区分不同类型的噪声,增强模型对不同噪声的适应能力,帮助模型学习到如何区分相关和不相关的信息,从而在处理实际问题时更加鲁棒。
技术关键词
检索策略
噪声分类
训练集
噪声样本
多层前馈神经网络
生成方法
向量空间模型
多头注意力机制
答案
关键词
动态
主题
解码参数
深度学习模型