基于算力优化的集群数据采集方法、系统、设备及介质

本发明公开了基于算力优化的集群数据采集方法、系统、设备及介质，涉及集群数据采集技术领域，包括如下步骤：将整个数据采集任务划分为多个采集子任务；获取采集子任务在预加载端的预加载所需资源；获取采集子任务在处理端的处理所需资源；通过历史数据分析不同处理端的资源变化函数；根据动态资源分配优化算法分配集群的采集任务；本发明用于解决现有的集群数据采集技术还存在对于集群的负载均衡算法不够优秀，仅能确保集群的负载大致均衡而无法达到最佳，且需要多次向请求处理端的实时数据，导致采集任务的效率下降的问题。