一种基于大数据的多源数据集成方法及系统

本发明涉及大数据处理技术领域，公开了一种基于大数据的多源数据集成方法及系统，从多个不同的数据源中采集原始多源数据，对原始多源数据进行清洗和异常处理，通过分布式计算框架对预处理后的多源数据进行标准化处理；基于标准化后的多源动态数据采用本体感知图卷积网络构建跨域语义知识图谱；基于跨域语义知识图谱进行语义对齐，采用注意力机制提取多模态特征，并通过CP张量分解将多模态特征融合，得到融合后的数据；对实时流数据进行增量更新处理，采用多智能体深度确定性策略梯度集成决策模型实时优化数据集成策略；本发明提高了数据处理的精准度和效率，解决了多源数据语义异构的问题，能够处理海量数据。