一种基于spark实现的大数据处理方法

本发明公开了一种基于spark实现的大数据处理方法，该基于基于spark实现的大数据处理方法的步骤如下：S1：数据库认证信息配置：配置数据库认证信息，后台使用加密算法存储；S2：数据清洗作业设置：清洗包括：值替换、空白字符处理、异常数据格式转换将数据分批读取到内存，进行数据清洗；S3：执行作业：可定时、循环执行作业；S4：日志监控：作业执行过程实时日志，监控作业执行进度，定位作业执行问题。本发明所述的一种基于spark实现的大数据处理方法，该基于spark实现的大数据处理方法能够确保存储在不同数据库中的数据进行抽取、清洗、导出，解决数据孤岛的问题，适用于基于大数据的数据仓库构建场景。