基于潜在融合LoRA的增强检索生成方法

AITNT
正文
推荐专利
基于潜在融合LoRA的增强检索生成方法
申请号:CN202510690787
申请日期:2025-05-27
公开号:CN120596624A
公开日期:2025-09-05
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,具体为基于潜在融合LoRA的增强检索生成方法;方法包括:通过检索层、适配层和输出层的三级架构实现知识融合与动态优化;检索层采用预训练模型将输入文本编码为查询向量,基于混合相似度从知识库筛选Top‑n相关向量并拼接;适配层通过动态门控机制过滤低相关性检索结果,结合LoRA进行低秩分解与特征融合,减少计算量并优化知识注入效率;输出层冻结大语言模型参数,保留其通用生成能力以输出文本,避免微调导致的知识遗忘。本发明通过混合相似度评分、动态门控与LoRA协同设计及冻结策略,解决现有方法中噪声干扰、计算开销大和知识遗忘问题,适用于问答系统和文本生成场景。
技术关键词
动态门控 生成方法 评分方法 大语言模型 文本 预训练模型 生成场景 问答系统 矩阵 融合特征 自然语言 机制 语义 超参数 注意力 编码 决策 分层
系统为您推荐了相关专利信息
1
一种电力服务虚拟数字人的实时交互驱动系统
动作表情 自然语言 数据接收模块 语音识别单元 图谱
2
一种基于人工智能的档案管理方法
档案管理方法 深度学习模型 语义 Softmax函数 类别预测模型
3
一种基于知识增强影像文本对齐的疾病分类方法及系统
医学知识图谱 分类网络 文本 报告 疾病
4
图像翻译方法、系统、电子设备、可读存储介质及芯片
文本 实体 电子设备 图像翻译方法 图像翻译系统
5
一种用于基因调控网络预测的大模型训练方法及装置
嵌入特征 样本 构建基因调控网络 模型训练方法 关系
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号