自适应数据抓取方法、设备、存储介质及装置

首页 AI资讯 AI技术研报 AI监管政策 AI产品测评 AI商业项目 arena全球大模型排行榜 AI产品热榜 AI 源力市场 AI专利库 AI需求对接 AI新闻日报
下载 AITNT APP
🍎 iOS 下载 🤖 Android 下载
正文
推荐专利
自适应数据抓取方法、设备、存储介质及装置
申请号:CN202511397202
申请日期:2025-09-28
公开号:CN120892208A
公开日期:2025-11-04
类型:发明专利
摘要
本申请公开了一种自适应数据抓取方法、设备、存储介质及装置,涉及互联网技术领域,包括:基于目标用户发起的接口请求、预设配置文件以及预设自定义映射规则表对请求参数进行配置,获得数据配置信息;对数据配置信息进行抓数前置校验,获得前置校验结果;基于前置校验结果、预设滑动窗口算法从预设等级线程池中匹配目标等级线程池,启用目标等级线程池中的线程完成数据抓取,相较于传统数据抓取方法需要通过人工介入的方式进行系统更新和维护,影响数据抓取的准确性和成功率,本申请能够自动映射请求参数,可通知自定义映射规则表装配复杂参数和做参数前置校验,并筛选线程优先级完成数据抓取,提高了数据抓取的准确性和成功率。
技术关键词
数据抓取方法 滑动窗口算法 数据抓取装置 参数 监督式机器学习 格式 协议 抓取设备 装配模块 系统更新 报文 互联网技术 表达式 数据接口 处理器 样本 可读存储介质 关系
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号