数据处理方法、装置、计算机设备、存储介质和计算机程序产品

本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取待处理数据；根据待处理数据的数据处理任务和数据量，确定出待处理数据对应的数据处理难度；从各待处理数据中，筛选出对应的数据处理难度大于处理难度阈值的待处理数据，作为目标待处理数据；识别出各目标待处理数据中的特征数据内容，并对各目标待处理数据中的特征数据内容进行特征提取处理，得到各目标待处理数据的目标特征向量；根据各目标待处理数据的目标特征向量，确定出各目标待处理数据中的重复数据；对各目标待处理数据中的重复数据进行删除处理，得到处理后的目标待处理数据。采用本方法，能够提高芯片的数据处理效率。