摘要
本发明涉及大语言模型技术领域,且公开了基于知识图谱增强的大语言模型训练方法,包括以下步骤:S1、多源异质知识图谱构建;S2、混合注意力异质图编码;S3、双向映射预训练任务;S4、位置特定门控融合。该基于知识图谱增强的大语言模型训练方法及系统,将结构化三元组与文本实体描述建同质子图,跨图边连接节点形成异质图,通过实体链接和句法分析建立关联边,统一建模多源知识,解决融合低效;混合注意力编码采用分层机制,语义层级按类型兼容性算权重,节点层级通过余弦距离和路径长度算相似度聚合特征,经池化生成实体向量,显式学习图谱结构与语义,提升推理准确性,解决知识理解浅层化问题。
技术关键词
语言模型训练方法
语言模型训练系统
文本
异质
知识图谱构建
层级
模糊匹配算法
语义
大语言模型
池化方法
实体链接算法
邻居
子模块
节点特征
注意力机制
依存句法分析
系统为您推荐了相关专利信息
大语言模型
临床数据处理方法
注意力机制
文本数据结构
解码
智能语音技术
汇报方法
会话初始协议
煤矿通讯系统
主控单元
智能转换系统
Inception模型
图像处理模块
大语言模型
中文文本
网络安全告警
网络安全评估
文本
网络安全数据
计算机存储介质