摘要
本发明实施例涉及一种引入稠密向量检索器的大语言模型的处理方法和装置,所述方法包括:将一类大语言模型作为第一大语言模型;基于第一大语言模型在对应的定向NLP任务微调中使用的定向文本语料集初始化稠密向量数据库;在第一大语言模型中增加稠密向量检索器和特征融合模块构成第二大语言模型并对其进行训练;训练结束后由第二大语言模型以稠密向量数据库为参考来处理定向NLP任务;并定期更新稠密向量数据库,并定期基于最新的稠密向量数据库对第二大语言模型进行一次评估,并在当次评估不合格时对第二大语言模型进行一次微调。通过本发明既可以保证模型的时效性、又可以降低模型的维护成本、提高模型的经济价值。
技术关键词
大语言模型
标签文本
特征提取模块
文本特征向量
字段
标识
编码模块
机器翻译
优化器
归一化相关系数
编码向量
输入端
序列
注意力
数据更新
分词
模式
系统为您推荐了相关专利信息
数据比对方法
计算机可读指令
校验规则
异常数据
业务校验
人体肌电信号
机器学习模型
步态识别
计算机可读指令
人工神经网络模型
三维人体姿态估计
估计方法
融合特征
多层感知器
视频
指纹定位方法
特征提取网络
室内音频定位方法
注意力
数据