一种基于对比网络的领域大模型知识增强方法

AITNT
正文
推荐专利
一种基于对比网络的领域大模型知识增强方法
申请号:CN202510651378
申请日期:2025-05-20
公开号:CN120781875A
公开日期:2025-10-14
类型:发明专利
摘要
本发明公开了一种基于对比网络的领域大模型知识增强方法;该方法包括:首先根据知识图谱自动化构造面向领域语料的结构化三元组及其描述,其次通过优化三元组实体与关系的嵌入和自监督学习最小化知识损失,实现特定领域知识增强模型预训练过程;通过一个双路知识适配模块实现主路领域大模型与旁路知识增强模型特征表示空间的非线性映射对齐,然后采用低秩自适应微调技术对对齐后的双路特征实施加权求和,以此达到模型领域知识增强的效果优化。本发明可以解决大模型在领域多样化应用的知识注入问题,同时仅需通过优化知识增强模型即可实现提升领域大模型训练效率和领域任务效果的双重目标。
技术关键词
三元组 微调方法 实体 语言模型概率 sigmoid函数 网络 矩阵 参数 预训练方法 概率分布函数 模型预训练 微调技术 关系 样本 预训练模型 多层感知机 图谱 学习方法 非线性 序列
系统为您推荐了相关专利信息
1
基于双分支非对称注意力骨干和特征融合金字塔网络的多模态目标检测方法及系统
残差模块 特征金字塔 金字塔网络 分支 检测网络模型
2
一种基于深度学习的MdSDB-YOLO小目标检测方法
特征提取网络 检测头 损失函数优化 构建预测模型 模块
3
Rhino_Grasshopper在钢结构图纸深化中应用的方法
钢结构 图纸 排版 桥梁模型 成品结构
4
一种基于强化学习的知识图谱补全方法
知识图谱补全方法 语义相关度 知识推理方法 实体 决策
5
一种基于标记增强学习的大语言模型多维偏好对齐方法及系统
对齐方法 模型校准 样本 大语言模型 梯度下降算法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号