一种基于大数据的动态可配置数据清洗方法及其系统

本发明属于数据处理技术领域，本发明公开了一种基于大数据的动态可配置数据清洗方法及其系统，包括采集异构数据源，结合数据源适配接口进行异构数据源接入；利用模拟抗原识别记忆机制，对异构数据源中的异常模式进行识别并编码为抗原指纹；基于抗原指纹构建数据价值密度评分函数，得到数据价值密度评分；根据数据价值密度评分构建三维存储拓扑空间，采用晶格迁移算法，自动识别冷热数据临界点，在异构数据源降温至预设温度阈值时触发分层迁移，引入热力学扩散机制，将异构数据源在三维存储拓扑空间中的迁移过程模拟为热扩散路径；显著提升了清洗任务的运行效率。