一种流域业务数据去重方法、装置、计算机设备及介质

本发明涉及数据去重技术领域，公开了一种流域业务数据去重方法、装置、计算机设备及介质，该方法包括：获取流域业务数据对应的多表数据库，对多表数据库的表头属性进行拼接，得到属性文档；对属性文档和多表数据库中的数据表进行融合特征选择，得到每个数据表对应的目标属性组合；对每个数据表对应的目标属性组合进行哈希值计算，得到每个数据表对应的哈希值分布，并将哈希值分布近似处理为正态分布；获取待处理流域业务数据，利用正态分布对待处理流域业务数据进行哈希判定，基于哈希判定结果进行数据去重，得到流域业务数据去重结果。本发明极大地提升了流域业务数据的去重效率，消除了冗余数据，节省了系统存储开销。