一种超大规模科创数据的分布式存储与管理方法、系统及设备

本发明涉及数据存储与管理技术领域，具体是一种超大规模科创数据的分布式存储与管理方法、系统及设备。所述方法包括：基于分布式存储架构获取超大规模科创数据，将所述数据切分成多个小块并分配至多个存储节点；对存储节点中的数据进行压缩与去重处理，生成高效存储的数据序列；基于所述数据序列，采用智能算法对数据进行自动分层存储；基于分层存储的结果，利用多因子协同优化负载均衡算法计算节点综合负载值，筛选高负载节点中的数据块进行优先迁移；结合分布式存储架构与智能数据管理系统，通过分布式一致性算法实现数据一致性管理。本发明增强了系统的可靠性和扩展性，适用于科技研发和大数据分析等场景。