一种连续情感引导的图像到音乐生成方法

本申请属于人工智能技术领域。本申请提供一种连续情感引导的图像到音乐生成方法。本公开实施例提出了一个端到端框架，直接从自然图像生成纯音乐，无需依赖图像标题或歌词。考虑到任务本身的模糊性和主观性，引入情感作为指导跨模态转换过程的媒介。提出了一个即插即用模型，利用对比学习，将图像转化为音乐作品。它减少了具有相似情感的图像和音乐之间的距离，以及同一模态内相似感情的图像或音乐之间的距离，这对于处理连续值标签是有效的。经过本方法生成的音乐与图像情感关联度高，且流畅质量高，实用性强。