一种基于大语言模型的数据处理方法及其相关设备

AITNT
正文
推荐专利
一种基于大语言模型的数据处理方法及其相关设备
申请号:CN202411492749
申请日期:2024-10-24
公开号:CN119443050A
公开日期:2025-02-14
类型:发明专利
摘要
本申请提供了一种基于大语言模型的数据处理方法及其相关设备,该方法包括获取待处理文本数据;利用大语言模型对待处理文本数据进行向量转换,得到待处理文本数据对应的文本向量和实体向量;利用大语言模型对实体向量进行处理,得到实体矩阵;利用大语言模型基于实体矩阵对文本向量进行处理,得到文本矩阵;利用大语言模型对文本矩阵进行文本转换,得到待处理文本数据对应的输出结果。本申请通过引入实体分析来实现长文本数据的分析处理和结果生成,能够提升大语言模型的内容生成质量。利用实体这一概念、数据和相关处理方法,可有效保证大语言模型在处理长文本时保持上下文语义的连贯性,从而保证大语言模型在结果生成时能够紧扣当前主题。
技术关键词
大语言模型 文本 实体 矩阵 注意力 数据处理方法 分词 转换单元 分块 存储计算机程序 数据处理装置 模块 存储器 计算机设备 可读存储介质 处理单元 处理器 元素
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号