一种基于增量式计算及特征聚类的数据去重方法、系统及电子设备

本发明公开了一种基于增量式计算及特征聚类的数据去重方法、系统及电子设备，包括：实时接收来自多源异构的文本、图像、音频及视频数据流，对每个数据单元附加时间戳，生成带时间属性的输入数据集；对所述输入数据集进行多模态特征提取，通过滑动窗口模型和时间衰减因子对提取的多模态特征的特征权重进行动态调整，以得到带权重的增量特征向量集；基于所述特征向量集执行两阶段聚类，生成多个细粒度的数据簇；采用复合相似度模型对每个细粒度数据簇的簇内数据进行两两比对，以确定出簇内重复数据，根据簇内重复数据对输入数据集进行数据去重，以得到去重后的输入数据集。本申请的方法提高了对实时数据的处理效率，显著降低了存储与计算成本。