基于知识图谱增强的大语言模型训练方法及系统

AITNT
正文
推荐专利
基于知识图谱增强的大语言模型训练方法及系统
申请号:CN202510658356
申请日期:2025-05-21
公开号:CN120578770A
公开日期:2025-09-02
类型:发明专利
摘要
本发明涉及大语言模型技术领域,且公开了基于知识图谱增强的大语言模型训练方法,包括以下步骤:S1、多源异质知识图谱构建;S2、混合注意力异质图编码;S3、双向映射预训练任务;S4、位置特定门控融合。该基于知识图谱增强的大语言模型训练方法及系统,将结构化三元组与文本实体描述建同质子图,跨图边连接节点形成异质图,通过实体链接和句法分析建立关联边,统一建模多源知识,解决融合低效;混合注意力编码采用分层机制,语义层级按类型兼容性算权重,节点层级通过余弦距离和路径长度算相似度聚合特征,经池化生成实体向量,显式学习图谱结构与语义,提升推理准确性,解决知识理解浅层化问题。
技术关键词
语言模型训练方法 语言模型训练系统 文本 异质 知识图谱构建 层级 模糊匹配算法 语义 大语言模型 池化方法 实体链接算法 邻居 子模块 节点特征 注意力机制 依存句法分析
系统为您推荐了相关专利信息
1
基于大语言模型的临床数据处理方法、装置及存储介质
大语言模型 临床数据处理方法 注意力机制 文本数据结构 解码
2
知识库构建方法、装置、计算机设备和存储介质
知识库构建方法 目录 标签 文本 大语言模型
3
基于智能语音技术的煤矿汇报方法及煤矿通讯系统
智能语音技术 汇报方法 会话初始协议 煤矿通讯系统 主控单元
4
基于深度学习的中文盲文文本智能转换系统
智能转换系统 Inception模型 图像处理模块 大语言模型 中文文本
5
网络安全告警处理方法、装置、设备、介质及程序产品
网络安全告警 网络安全评估 文本 网络安全数据 计算机存储介质
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号