一种分布式工业存储设备的数据冗余消除方法及系统

本发明公开了一种分布式工业存储设备的数据冗余消除方法及系统，涉及分布式存储技术领域。所述方法包括：接收外部数据块并进行分割处理，得到若干数据分片；基于所述数据分片，应用动态分层指纹算法生成负载关联指纹；将所述负载关联指纹与全局指纹库进行匹配，根据匹配结果确定数据分片是否为冗余数据，并基于所述负载关联指纹选择目标存储节点；将非冗余数据分片存储至所述目标存储节点，并更新所述全局指纹库及目标存储节点的本地指纹库。通过将数据特征与存储节点负载状态融合生成负载关联指纹，动态调整指纹以匹配节点负载趋势，实现数据智能分布，解决数据分布不均衡问题，达到了在分布式工业存储中高效消除冗余且平衡负载的效果。