一种基于大模型的冗余物料数据清洗系统

本发明提供一种基于大模型的冗余物料数据清洗系统，属于工业智能与数据治理技术领域，本发明利用预训练大语言模型的深度语义理解能力，实现端到端的语义清洗。它将物料描述转化为高维语义向量，在统一向量空间中精准计算语义相似度，超越字面差异识别本质相同的物料，并通过智能聚类自动归并冗余项。该方法不仅能深度捕捉核心属性间的语义关联、有效忽略噪声，还具备融合结构化属性进行更鲁棒判断的潜力，显著提升清洗精度与效率，克服传统流水线方法的固有局限。