一种AI驱动的高效数据冗余检测与清理方法及系统

本发明公开了一种AI驱动的高效数据冗余检测与清理方法及系统，涉及数据处理技术领域。包括依据目标数据链内不同段落的类别，构建以AI为驱动的片段识别架构，片段识别架构用于定位目标数据链中重复数据的所在位置；以重复数据为定位基准。本发明通过片段识别架构对目标数据链进行结构化分析，结合结构特征、语义特征和功能特征，实现对重复数据在不同上下文、不同数据类型中的定位和识别，适用于文本序列、数据流、多媒体图像等多样化数据场景，此外通过构建特征映射关系表，能够基于不同段落的特征内容构建片段识别框架，并采用AI识别逻辑匹配，使得在面对复杂数据结构和隐性冗余问题时具备较高的适应能力和识别准确性。