摘要
本发明公开了一种文本的处理方法、产品、设备及介质,涉及大语言模型技术领域。该方法中,为了将新知识融入到模型,该方法中在新知识适配器中利用注入的新知识样本进行训练,且在训练过程中保持大语言模型中的参数不变,即在已有的大语言模型的基础上仅对新知识适配器的参数进行训练。由于新知识适配器的参数是远远小于大语言模型中的参数,因此,能够高效、低算力、低成本地为大语言模型注入新的知识,又能保证大模型原本能力不遗忘,由于模型训练的效率提高,进而提高了使用该模型对文本推理时的效率;其次,使用新知识适配器和大语言模型对文本进行推理,保证了能够对新知识进行推理。
技术关键词
适配器
大语言模型
文本
识别器
前馈神经网络
变换器
样本
变换编码器
表达式
可读存储介质
存储计算机程序
计算机程序产品
子模块
参数
处理器
同义词
关键词
低成本
系统为您推荐了相关专利信息
钩臂式垃圾车
识别检测方法
整车控制单元
自动泊车
残差网络
参数
矩阵分解技术
深度学习优化
大语言模型
可读存储介质