基于语义识别的大模型的训练数据冗余剔除方法及系统

本发明涉及自然语言处理技术领域，本发明公开了基于语义识别的大模型的训练数据冗余剔除方法及系统，包括通过构建领域知识图谱，实现对数据中冗余部分的精确识别和剔除，结合图神经网络等先进技术，提升了数据预处理的质量和效率。相较于现有技术，本发明通过采用多层次的数据编码和特征传播机制，不仅有效消除了数据中的冗余信息，还促进了数据的高维表征，使得数据在进入模型训练阶段前具备更高的解释能力和准确性。