摘要
本申请提供了一种基于大语言模型的数据处理方法及其相关设备,该方法包括获取待处理文本数据;利用大语言模型对待处理文本数据进行向量转换,得到待处理文本数据对应的文本向量和实体向量;利用大语言模型对实体向量进行处理,得到实体矩阵;利用大语言模型基于实体矩阵对文本向量进行处理,得到文本矩阵;利用大语言模型对文本矩阵进行文本转换,得到待处理文本数据对应的输出结果。本申请通过引入实体分析来实现长文本数据的分析处理和结果生成,能够提升大语言模型的内容生成质量。利用实体这一概念、数据和相关处理方法,可有效保证大语言模型在处理长文本时保持上下文语义的连贯性,从而保证大语言模型在结果生成时能够紧扣当前主题。
技术关键词
大语言模型
文本
实体
矩阵
注意力
数据处理方法
分词
转换单元
分块
存储计算机程序
数据处理装置
模块
存储器
计算机设备
可读存储介质
处理单元
处理器
元素