摘要
本发明公开了采购意向公开信息的数据采集方法、系统、设备介质,属于大数据应用与分析技术领域,本发明要解决的技术问题为如何实现定时访问采购平台的数据查询接口,实时高频的获取采购意向最新且准确的公开数据,采用的技术方案为:该方法是基于互联网数据采集技术,通过对一个或多个目标站点的采购意向信息相关的数据接口进行高频次的遍历请求,保存为结构化的采购意向数据,达到对采购意向公开信息的实时动态获取;具体如下:按需设定采集监测站点与目标字段;获取目标字段的数据接口;设定更新范围、频率与存储上限;遍历数据接口并抽取目标字段;采集结果积累形成数据集合,并将数据集合存储到数据库中。
技术关键词
数据采集方法
字符串提取技术
数据接口
互联网数据采集技术
字段
语义分析技术
监测站
数据采集系统
调试工具
交易平台
站点
存储模块
可读存储介质
频率
列表
处理器
表达式
系统为您推荐了相关专利信息
语音交互模块
机器可读程序
术语
生成折线图
字段
数据采集传输方法
分布式系统
故障检测算法
数据通信协议
传感器节点