摘要
本申请提供一种基于大数据的信息收集分析方法及系统。其中,自动识别并抓取多元异构数据源的相关数据;对相关数据进行实时流式处理,依据相关数据的时间序列特性与事件关联性构建信息图谱;利用图论算法及机器学习技术对信息图谱中的节点进行重要性评估,得到节点重要性评分,并基于节点重要性评分确定出信息图谱中的关键信息节点与潜在的信息孤岛;基于关键信息节点与潜在的信息孤岛的节点重要性评分,优化当前信息检索策略,得到优化后的信息检索策略;根据优化后的信息检索策略调整多元异构数据源的选择以及优先级排序,并反馈至信息收集引擎。本申请提供的技术方案提高了信息收集与处理的效率、精度和智能化水平。
技术关键词
节点
分布式计算框架
信息检索
收集分析方法
信息孤岛
图谱
图论算法
机器学习模型
机器学习技术
异构
策略
信息收集分析系统
大数据
定制化需求
事件检测算法
时间段
存储组件
数据更新频率
序列