摘要
本申请涉及一种基于多源检索与总结模块的大语言模型推理增强方法及装置,其包括将Qwen2.5‑32B作为大语言模型,并使用预设的检索数据集对大语言模型进行微调;通过强化学习引入多重奖励来提升大语言模型的自我认知能力;基于FAISS构建向量数据库与实时网络检索系统,并通过向量数据库以及实时网络检索系统多源检索文本数据;通过预设的小型语言模型总结文本数据的文本信息,并将文本信息输出至大语言模型中。本申请采用强化学习(GPRO)对大语言模型的自我认知能力进行提升,并构建多源检索模块,能够做到快速查询语义相近的数据助力大语言模型深入理解数据的语义内涵,提升检索的准确性与合理性。
技术关键词
大语言模型
网络检索系统
文本
蒸馏
生成样本数据
模块
格式
预训练模型
机制
语义
鲁棒性
训练集
定义
答案
助力
标签
模板
指标
系统为您推荐了相关专利信息
代码结构
漏洞分析方法
补丁
语义
计算机程序产品
检测模型训练方法
输入检测方法
剪贴板数据
文本
警报
信息预测方法
订单
时间预测模型
风险评估模型
计算机装置
联邦学习技术
阶梯
强化学习框架
深度强化学习算法
企业
深度学习预测
指数加权移动平均值
超参数
非结构化文本信息
生成数据集