一种引入稠密向量检索器的大语言模型的处理方法和装置

AITNT
正文
推荐专利
一种引入稠密向量检索器的大语言模型的处理方法和装置
申请号:CN202411486178
申请日期:2024-10-23
公开号:CN119398193B
公开日期:2025-09-26
类型:发明专利
摘要
本发明实施例涉及一种引入稠密向量检索器的大语言模型的处理方法和装置,所述方法包括:将一类大语言模型作为第一大语言模型;基于第一大语言模型在对应的定向NLP任务微调中使用的定向文本语料集初始化稠密向量数据库;在第一大语言模型中增加稠密向量检索器和特征融合模块构成第二大语言模型并对其进行训练;训练结束后由第二大语言模型以稠密向量数据库为参考来处理定向NLP任务;并定期更新稠密向量数据库,并定期基于最新的稠密向量数据库对第二大语言模型进行一次评估,并在当次评估不合格时对第二大语言模型进行一次微调。通过本发明既可以保证模型的时效性、又可以降低模型的维护成本、提高模型的经济价值。
技术关键词
大语言模型 标签文本 特征提取模块 文本特征向量 字段 标识 编码模块 机器翻译 优化器 归一化相关系数 编码向量 输入端 序列 注意力 数据更新 分词 模式
系统为您推荐了相关专利信息
1
一种数据比对方法、装置、计算机设备及存储介质
数据比对方法 计算机可读指令 校验规则 异常数据 业务校验
2
基于机器学习的肌电图步态识别评估方法及系统
人体肌电信号 机器学习模型 步态识别 计算机可读指令 人工神经网络模型
3
中医寒热虚实辨证的方法及系统
光电容积脉搏波信号 心率 面部 人脸 非线性特征
4
人体姿态的估计方法、装置、设备及存储介质
三维人体姿态估计 估计方法 融合特征 多层感知器 视频
5
基于数据增强和特征融合的音频指纹定位方法及装置
指纹定位方法 特征提取网络 室内音频定位方法 注意力 数据
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号