摘要
本发明提供了一种基于知识图谱的大语言模型知识增强方法及系统,包括步骤S1对文本语料进行清洗;步骤S2根据分词后的结果,输入大语言模型;步骤S3选择知识适应层插入大语言模型的位置;步骤S4根据语言模型产生的N个隐藏状态和知识图谱嵌入进行融合;包括实体匹配依据知识图谱预定义实体词汇表标记实体位置,确定候选实体Token;知识映射将模型输入输出中的Token与知识图谱中的实体进行链接,并将实体的嵌入空间与大语言模型的表示空间映射到同一语义空间;知识融合与注入将映射到同一语义空间的实体嵌入和文本表示相融合。基于本发明的技术方案,使知识整合更精准高效,确保整个生成过程中知识利用的一致性,在多种知识密集型任务上实现显著性能提升。
技术关键词
实体
大语言模型
图谱
文本
多层感知机层
注意力机制
矩阵
编码器
语义
分词
序列
编码算法
解码器
字符
编码向量
融合方法
编码模块
系统为您推荐了相关专利信息
NFC卡模拟设备
多路选择开关
控制模块
管理系统
NFC芯片
下肢运动康复
下肢康复机器人
下肢康复训练
大语言模型
视觉交互设备