基于动态均衡及群控技术的大规模数据采集方法、装置、介质及设备

本发明公开了一种基于动态均衡及群控技术的大规模数据采集方法、装置、介质及设备，所述方法包括：通过分布式任务调度平台，实时轮询抓取任务列表，选中并取出抓取任务列表中的目标抓取任务；通过任务监控系统对当前终端群控系统中的所有终端进行状态监控，识别出所有状态为空闲的待机终端，对所述待机终端根据预设规则进行筛选，得到目标待机终端；将取出的所述目标抓取任务分配至所述目标待机终端，并激活所述目标待机终端的功能模块执行抓取任务。本发明基于终端群控技术，可以同时执行多个目标抓取任务，实现不同平台的APP数据的同时抓取，操作灵活可靠，同时采用的多进程并发机制，提高了数据采集效率。