一种基于大模型的自然资源数据清洗与预处理方法和系统

本发明提供了一种基于大模型的自然资源数据清洗与预处理方法和系统，方法包括构建由至少一个数据清洗主节点和至少两个数据预处理从节点组成的集群系统，主节点执行数据清洗请求和预处理请求，从节点执行预处理请求。首先获取待处理的自然资源数据，计算其哈希值并存储至数据管理表，原始数据存入存储区域。当接收到数据处理请求时，若为清洗请求，则访问主节点执行清洗并将结果同步至所有从节点；若为预处理请求，则通过负载均衡算法分配至某一从节点执行。该方法通过主从节点分工协作，结合哈希校验和负载均衡，实现高效、可靠的数据处理。本发明可以提升数据处理的可靠性、一致性和系统容错能力。