训练数据去重方法、装置和设备

本发明提供一种训练数据去重方法、装置和设备，其中方法包括：获取多条新多模态训练数据和多条历史多模态训练数据；提取每条新多模态训练数据对应的第一多维特征信息，并提取每条历史多模态训练数据对应的第二多维特征信息；对每条新多模态训练数据对应的第一多维特征信息进行融合，得到相应的第一融合特征信息，对每条历史多模态训练数据对应的第二多维特征信息进行融合，得到相应的第二融合特征信息；基于每条新多模态训练数据对应的第一融合特征信息，以及每条历史多模态训练数据对应的第二融合特征信息，对多条新多模态训练数据进行去重。本发明能够对新多模态训练数据进行语义级去重，提高了数据去重的效率和精准度。