一种基于大语言模型的数据处理管线方法、系统、设备及存储介质

本发明公开了一种基于大语言模型的数据处理管线方法、系统、设备及存储介质，包括采集数据；对数据进行处理；使用大模型结合语义分析、文本聚类及分类策略对数据分析，获得分层数据；基于分层数据建立智能数据处理管线；对智能数据处理管线的数据进行信息提取及转换，获得标注数据集。本发明弥补了现有企业大模型数据处理的不足及痛点，提升数据处理及合成效率，能够智能、高效地实现数据处理。