一种跨网站多策略的公司信息采集处理方法及系统

本发明公开了一种跨网站多策略的公司信息采集处理方法分析公司信息的组成部分并构建通用网络爬虫框架；针对基本信息，构建通用网络爬虫框架，包括通用网站爬虫和WIKI网络爬虫，分别在网页结构未知的环境和WIKI网站进行数据爬取；针对Twitter文章信息、承包合同信息、关联网络信息、公司人数与下辖单位信息，构建主题爬虫，包括Twitter网络爬虫、fpds网络爬虫、Whois网络爬虫、LinkedIn网络爬虫这四个主题网络爬虫，分别对Twitter、联邦采购数据网站、Whois、LinkedIn进行数据爬取；对WIKI网络爬虫、LinkedIn网络爬虫、通用网站爬虫获取的地址信息进行数据融合；进行数据清洗并保存。本发明能够实现高效、稳定且准确的公司信息爬取。