摘要
本发明公开一种基于NiFi的高效处理复杂JSON数据的方法,涉及数据处理技术领域;包括:步骤1:通过NiFi的输入端口接收JSON数据;步骤2:对接收到的JSON数据进行预处理;步骤3:利用NiFi中的JSON解析器对预处理后的JSON数据进行解析,步骤4:对解析后JSON数据进行结构化处理:针对复杂结构的JSON数据,采用递归算法进行遍历,根据预设的规则提取所需信息,根据提取的所需信息利用转换函数将进行数据转换处理将非标准的数据格式转换为统一的数据格式,将转换后数据存储到结构化数据中;步骤5:对结构化数据进行后处理,将处理后的数据输出到指定的目标位置。
技术关键词
数据格式
后处理模块
表达式
解析器
递归算法
非标准
处理器
数据存储
数据处理技术
端口
字符
动态