摘要
本发明公开了一种基于大数据的人文社科资料获取系统,包括人文社科资料提取模块、资料后处理模块、数据存储模块、分析模块和用户端口模块;所述人文社科资料提取模块包括获取跨平台资源的实时捕获与增量同步,所述资料后处理模块包括对人文社科资料提取模块的数据内容进行数据清洗、去重和分类;所述数据存储模块用于存储资料后处理模块处理后的数据信息,分析模块获取存储数据信息进行语义理解、重构,完成数据信息提取,所述用户端口模块包括用户注册、登录、验证和数据检索与获取。本发明与现有技术相比的优点在于:提供一种方便应用,数据获取方便,数据全面准确的一种基于大数据的人文社科资料获取系统及其方法。
技术关键词
后处理模块
资料
大数据
数据存储模块
分析模块
网页内容提取
重构单元
社交媒体平台
接口单元
HTTP请求
端口
语义
清洗单元
爬虫
数据分类
图书馆
资源
系统为您推荐了相关专利信息
波形分析方法
血流
血管
构建深度神经网络
离散小波变换
消防安全监测
分层决策机制
多模态
隐马尔可夫模型
空间分布特征
综合能源系统
储能设备
模态分解方法
储能优化配置方法
负荷