摘要
本申请公开了一种自适应数据抓取方法、设备、存储介质及装置,涉及互联网技术领域,包括:基于目标用户发起的接口请求、预设配置文件以及预设自定义映射规则表对请求参数进行配置,获得数据配置信息;对数据配置信息进行抓数前置校验,获得前置校验结果;基于前置校验结果、预设滑动窗口算法从预设等级线程池中匹配目标等级线程池,启用目标等级线程池中的线程完成数据抓取,相较于传统数据抓取方法需要通过人工介入的方式进行系统更新和维护,影响数据抓取的准确性和成功率,本申请能够自动映射请求参数,可通知自定义映射规则表装配复杂参数和做参数前置校验,并筛选线程优先级完成数据抓取,提高了数据抓取的准确性和成功率。
技术关键词
数据抓取方法
滑动窗口算法
数据抓取装置
参数
监督式机器学习
格式
协议
抓取设备
装配模块
系统更新
报文
互联网技术
表达式
数据接口
处理器
样本
可读存储介质
关系
系统为您推荐了相关专利信息
数据共享平台系统
能源交易系统
电网管理系统
数据项
子模块
仿真测试方法
模型库
参数
仿真测试技术
仿真测试系统
协同调度方法
历史负荷数据
储能系统充放电
强化学习方法
功率值
水质预测方法
监测点
地理信息系统
变量
水质预测系统