一种基于分布式存储的大数据处理方法及系统

本发明公开了一种基于分布式存储的大数据处理方法及系统，涉及大数据处理技术领域，包括收集多源数据并进行预处理，使用SHAP算法计算特征重要性评分，使用CMCHA算法生成复合哈希键，并生成副本映射至节点，通过PSO算法和ACO算法进行混合优化，使用AIS进行验证，通过多级反馈神经控制器进行泛化，使用KNN模型、Prophet模型以及Transformer模型进行预测，通过FedAvg聚合全局模型参数，使用VAE压缩匿名化数据，基于博弈论分配带宽。本发明通过PSO算法和ACO算法混合优化结合AIS验证，提升了多源数据的处理效率和可靠性，通过多模型结合VAE和博弈论，提高了计算效率和资源利用率。