多语言数据清洗方法、系统、设备及介质

本发明涉及一种多语言数据清洗方法、系统、设备及介质，该方法包括：采集多语言数据；对多语言数据进行标准化预处理，得到第一数据；对第一数据进行基于专家规则的过滤处理，得到第二数据；采用基于多语言大模型的自动化数据质量评估模型对第二数据进行质量评估，保留保留语言标签准确率高于设定阈值、困惑度低于设定阈值且训练后模型效果提升的数据，得到最终的多语言数据清洗结果。与现有技术相比，本发明提升了多语言数据的清洗质量和清洗效率。