基于机器学习模型的大规模数据存储去重优化方法

本发明涉及基于机器学习模型的大规模数据存储去重优化方法。构建基于哈希函数的数据索引，将数据映射到固定大小的哈希表中，并使用局部敏感哈希LSH技术对相似数据进行索引；设计基于数据特征的分区策略，将相似数据分配到相同或相近的分区中，控制减少跨分区的比较操作，并根据数据的变化调整分区方案；结合规则引擎与多层次机器学习模型，通过规则引擎基于预定义的规则进行初步去重筛选，将筛选后的数据输入到机器学习模型中，进行相似度计算和去重处理；然后设计多模态相似度计算方法，使用深度学习模型学习数据的特征表示，计算多模态相似度；采用启发式优化算法优化相似度计算的参数，将数据表示为图结构，通过图的匹配和聚类进行去重处理。