摘要
本发明公开了一种网络数据自动采集智能计算系统,包括用户端和服务器。所述用户端包括输入和输出模块,支持用户输入工作职位的特征,输出智能计算结果和查询结果。所述服务器包括采集、解析、存储、计算、查询等模块,采集模块采用多线程网络爬虫搜索下载招聘网站的相关数据;解析模块运用文档对象模型、选择器、正则表达式等技术解析网页数据,生成多维特征数据集;存储模块提供数据存储管理;计算模块通过建立特征数据分析模型进行智能计算,输出图表;查询模块采用模糊查询搜索本地数据并对结果进行排序优化。本发明提供了人机对话界面,系统根据用户需求自动采集并输出智能计算结果,可以帮助用户筛选职位信息,洞悉职位需求变化。
技术关键词
智能计算方法
多维特征数据
数据解析程序
主题爬虫
文档对象模型
多线程方式
存储模块
访问WEB页面
执行模糊查询
服务器
大数据技术
存储管理功能
网络爬虫程序
数据存储程序
输出模块
图表
数据解析方法