一种大规模数据的分布式处理方法

本发明属于分布式计算技术领域，涉及一种大规模数据的分布式处理方法。为了解决现有技术中在分布式架构下对数据的处理大都依靠统一的数据处理算法对数据进行处理，多个计算节点之间的分工并不明确。本发明通过将待处理文件进行分类，且依据每一类存储节点中的待处理文件的数据大小和数据结构，以及不同算法对不同数据的处理能力，将不同处理文件和不同算法对应的计算节点之间生成映射关系，使得在数据处理过程中能够充分适配计算节点，每个计算节点都能够处理自身所擅长的数据，使得计算节点处理数据的效率大大提高。