摘要
本发明提供一种测试时知识图谱增强大语言模型方法。该方法提出一种新型基于知识图谱的注意力机制,以一种双向信息流聚合方式来提升知识图谱增强大语言模型的效果,包括以下步骤:根据文本输入序列从知识图谱中检索三元组作为知识图谱三元组输入序列;将文本输入序列和知识图谱三元组输入序列转换为嵌入向量,并计算查询矩阵、键矩阵和值矩阵;计算混合注意力;通过前馈神经网络得到更丰富特征表示;依据上述特征表示生成模型预测概率分布,从而预测下一个单词。
技术关键词
大语言模型
矩阵
三元组
前馈神经网络
文本
多头注意力机制
输入键
序列
查询特征
融合知识图谱
双向信息流
处理器
计算机
可读存储介质
存储器
非线性
电子设备
系统为您推荐了相关专利信息
策略
金融交易系统
LSTM神经网络
撮合方法
模拟器
大语言模型
文本
脱敏数据
数据获取模块
映射关系表
多尺度特征融合
特征金字塔网络
通道注意力机制
检测头
安全帽佩戴识别
问答匹配模型
语义向量
门控循环单元网络
节点
历史会话