一种基于查询成本预测的资源组管理方法与系统

本发明涉及一种基于查询成本预测的资源组管理方法与系统，包括：数据采集与预处理；查询成本预测：输入XGBoost‑TF‑IDF算法，训练查询成本预测模型，再输入训练好的查询成本预测模型，预测用户提交的查询任务需要消耗的集群资源；集群配置：优化内存池的分配方式，再配置集群资源组为即时任务资源组和批处理任务资源组，分别优化即时任务资源组和批处理任务资源组的资源配置；资源组分类优化：根据查询任务的预测成本，将查询任务标记为即时任务或批处理任务并分发到相应资源组，并利用查询任务的预测成本对资源组进行动态的资源扩容和限制。通过本发明，合理分配集群的内存资源，提高查询集群的查询效率和稳定性。