文件处理方法、设备和计算机可读存储介质

本申请公开了一种文件处理方法、设备和计算机可读存储介质，涉及数据处理技术领域，所述文件处理方法包括：构建Hive治理配置表，所述Hive治理配置表包括分区表和非分区表的治理策略参数；根据所述治理策略参数确定至少一个合并子任务，所述合并子任务对应待合并的所述分区表目录或者所述非分区表目录；确定至少一个所述合并子任务对应的Spark计算任务数量；根据所述Spark计算任务数量将所述合并子任务进行分组，根据分组后的所述合并子任务构建对应的Spark计算任务集合，每一所述Spark计算任务用于串行处理分配到的合并子任务。本申请避免了在数据处理过程中对重复数据的重复计算，提高了管理效率。