基于键列分区的HIVE分组运算性能优化与调度方法

本发明提供基于键列分区的HIVE分组运算性能优化与调度方法，涉及数据处理技术领域，包括通过构建键列分布直方图，确定键列分区策略，对数据进行预处理；基于资源评估和动态规划算法优化数据分区；采用最小生成树算法计算最优数据传输路径，并动态调整分配方案。本发明可提高HIVE分组运算性能，实现计算负载的动态平衡，有效解决数据倾斜问题，提升大规模数据处理效率。