摘要
本发明涉及大数据处理技术领域,具体涉及基于大数据的数据分析处理方法及系统,包括以下步骤:S1:从多个领域的数据源中提取原始数据;并对原始数据进行初步分类,生成领域分类列表;S2:将语义一致或相似的数据字段进行转换,生成标准化数据集;S3:对不同领域的数据按照字段匹配规则和数据间的相关性进行特征对齐;S4:通过计算不同领域特征之间的相关性,生成交互关系矩阵;S5:将交互关系矩阵作为输入,采用图神经网络构建跨领域交互关系图。本发明,通过语义映射规则实现跨领域数据的语义统一,结合特征对齐与图神经网络建模,精准捕捉数据间的复杂交互关系,显著提升了跨领域数据融合的效率和分析精度。
技术关键词
字段
邻居
节点特征
矩阵
嵌入特征
语义库
特征值
同义词
数据字
对齐模块
列表
大数据处理技术
消息传递机制
皮尔逊相关系数
非线性