摘要
本发明公开了一种基于湖仓一体的异构能源数据存储方法包括,收集异构能源数据,并对所述数据进行预处理;对处理后的数据利用FCM算法进行模糊聚类提取出特征关键字;基于Hive组件将所述HDFS组件中的所述源数据加载到基于Hive组件创建的湖仓表中。本方法通过FCM聚类和ETL工具统一异构能源数据,优化数据加载和查询效率,降低处理耗时。利用湖仓一体架构增强了数据治理和跨领域共享,提升了系统扩展性和灵活性,降低数据处理耗时,提高数据查询及执行的效率并有效降低数据孤岛难统一管理的问题。
技术关键词
能源数据存储方法
FCM算法
异构
关键字
电力行业数据
聚类
数据仓库工具
文件系统
处理器
计算机设备
矩阵
可读存储介质
指数
存储器
格式
基础
系统为您推荐了相关专利信息
多源异构数据
时空分布特征
因子权重
主成分分析法
对齐技术
语义匹配方法
校验算法
数据访问模式
计算机可读取存储介质
预训练模型
GIS隔离开关
QPSO算法
经验小波变换
加权融合算法
深度信念网络
疾病关联预测方法
异构
推理方法
增广拉格朗日乘子方法
矩阵