多模态数据集的构建方法、装置及存储介质

本申请提供一种多模态数据集构建方法、装置及存储介质。首先清洗出高质量图片；然后对高质量的图片生成图片的描述；评估生成的描述与图片的相似度，如果相似度较低，重新生成图片的描述，直到生成的描述与图片的相似度达到规定的得分；使用音频模型，把生成的图片描述转换成语音，通过评分模型打分，得到满足条件的音频；得到图‑文‑音三模态高质量数据集。通过本发明的获取数据集的方法，获取了高质量的图文音数据集，可以用来提高模型的泛化能力。