一种用于FDC的海量数据清洗方法

本发明涉及工业物联网数据处理技术领域，公开了一种用于FDC的海量数据清洗方法，包括以下步骤：S1、通过EAP程序利用SECS协议采集半导体制造设备的传感器数据，封装为JSON格式后上报至SpringBoot后端；S2、根据场景选择数据传输路径：高吞吐场景下将数据发送至RabbitMQ消息队列，低延迟场景下直接发送至DolphinDB流表；S3、对数据进行多维度异常检测与清洗。通过优化的MQ配置和并发存储机制，通过两种方式实现高性能数据处理，第一种方式满足芯片制造过程中海量的事实处理需求，第二种方式减少了中间环节，提高了数据处理效率，且实时性高，使得该方法的适配性提高。