摘要
本发明涉及自然语言处理技术领域,具体为基于潜在融合LoRA的增强检索生成方法;方法包括:通过检索层、适配层和输出层的三级架构实现知识融合与动态优化;检索层采用预训练模型将输入文本编码为查询向量,基于混合相似度从知识库筛选Top‑n相关向量并拼接;适配层通过动态门控机制过滤低相关性检索结果,结合LoRA进行低秩分解与特征融合,减少计算量并优化知识注入效率;输出层冻结大语言模型参数,保留其通用生成能力以输出文本,避免微调导致的知识遗忘。本发明通过混合相似度评分、动态门控与LoRA协同设计及冻结策略,解决现有方法中噪声干扰、计算开销大和知识遗忘问题,适用于问答系统和文本生成场景。
技术关键词
动态门控
生成方法
评分方法
大语言模型
文本
预训练模型
生成场景
问答系统
矩阵
融合特征
自然语言
机制
语义
超参数
注意力
编码
决策
分层
系统为您推荐了相关专利信息
动作表情
自然语言
数据接收模块
语音识别单元
图谱
档案管理方法
深度学习模型
语义
Softmax函数
类别预测模型
嵌入特征
样本
构建基因调控网络
模型训练方法
关系