摘要
本发明涉及自然语言处理技术领域,公开了一种基于双模动态循环的大语言模型知识能力持续拓展方法,通过模态转换机制单元控制LLM在清醒和睡眠模态间循环切换:清醒模态下,RAG模块收集清洗新数据构建知识库,基于用户问题检索知识并调用VertiLLM生成答案;当数据量达阈值且资源空闲时切换至睡眠模态,启动续训模块,利用清洗数据生成训练数据对LLM进行参数调整,生成经测试验证的新VertiLLM模型后更新至RAG模块,同时删除已训练数据;RAG模块通过检索增强技术提升即时知识,续训模块通过继续训练巩固专业知识。该方法实现了大语言模型知识能力的动态持续拓展,解决了传统模型知识更新滞后的问题,具有自动化程度高、资源利用率优等特点。
技术关键词
生成训练数据
自动化工具
模块
生成用户
动态
生成答案
语义
生成主题
预训练模型
文本
大语言模型
数据分布
格式
条目
参数
数据更新
自然语言
记忆
系统为您推荐了相关专利信息
单触发电路
开关节点
逻辑控制模块
逻辑控制电路
输入端
动态路径规划方法
门控循环单元
时序
历史交通数据
网络
水泵机组
数字孪生技术
数字孪生模型
故障关联矩阵
温度补偿算法
盾构机主驱动
深度强化学习算法
模型预测控制算法
掘进参数
动态平衡控制