摘要
本发明涉及一种基于知识增强及自适应微调的电力大语言模型构建方法,包括:S1:收集电力领域相关的文本数据,并预处理;S2:使用SeqGAN生成多样化的数据样本,并在生成步骤中加入对抗机制;S3:使用SpaCy进行文本标注和基础的NLP处理,识别和标注电力相关实体;S4:使用Neo4j设计并构建电力领域的知识图谱;S5:设计混合专家模型架构,通过不同专家模块处理不同类型的电力数据,构建电力大语言模型;S6:将知识图谱与电力大语言模型结合,通过提示和注意力机制增强模型的推理能力。本发明能够有效结合知识图谱的结构化信息,强化模型的推理能力及其在复杂电力任务的应用能力。
技术关键词
大语言模型
电力
LDA模型
主题
文本
子模块
数据
知识图谱嵌入方法
计算机存储介质
知识图谱向量
序列
关键词
注意力机制
基础
路由器
图谱特征
正则化参数
生成机制