摘要
本发明公开了一种基于对比网络的领域大模型知识增强方法;该方法包括:首先根据知识图谱自动化构造面向领域语料的结构化三元组及其描述,其次通过优化三元组实体与关系的嵌入和自监督学习最小化知识损失,实现特定领域知识增强模型预训练过程;通过一个双路知识适配模块实现主路领域大模型与旁路知识增强模型特征表示空间的非线性映射对齐,然后采用低秩自适应微调技术对对齐后的双路特征实施加权求和,以此达到模型领域知识增强的效果优化。本发明可以解决大模型在领域多样化应用的知识注入问题,同时仅需通过优化知识增强模型即可实现提升领域大模型训练效率和领域任务效果的双重目标。
技术关键词
三元组
微调方法
实体
语言模型概率
sigmoid函数
网络
矩阵
参数
预训练方法
概率分布函数
模型预训练
微调技术
关系
样本
预训练模型
多层感知机
图谱
学习方法
非线性
序列
系统为您推荐了相关专利信息
残差模块
特征金字塔
金字塔网络
分支
检测网络模型
特征提取网络
检测头
损失函数优化
构建预测模型
模块
知识图谱补全方法
语义相关度
知识推理方法
实体
决策
对齐方法
模型校准
样本
大语言模型
梯度下降算法