图文多模态数据的下载去重方法和装置

本发明提供一种图文多模态数据的下载去重方法和装置，在下载图像数据之前，过滤掉下载过的图像链接，减少了重复数据的下载。在下载图像数据之后，计算图像感知哈希值并过滤掉重复的图像数据，然后将具有相同图像链接或图像感知哈希值的图像标签合并成图像标签列表，即减小了数据存储空间，又丰富了图像的标签信息，解决了现有技术中因网络环境中图文多模态数据普遍重复存储导致的储存资源浪费、下载效率度、检索效率低等缺陷，具备良好的应用效果。